[ν”„λ‘¬ν”„νŠΈ μ—”μ§€λ‹ˆμ–΄λ§] (2) ν”„λ‘¬ν”„νŠΈ 섀계 핡심 κ°œλ… : Role (μ—­ν• ) Policy (μ •μ±…) Audience (λŒ€μƒ) Knowledge (지식) Format (ν˜•μ‹) Task (μž‘μ—…) Example (μ˜ˆμ‹œ)
Β·
πŸ› Research/NLP & LLM
μ˜€λŠ˜μ€ ν”„λ‘¬ν”„νŠΈ μ—”μ§€λ‹ˆμ–΄λ§μ—μ„œ μ€‘μš”ν•œ ν”„λ‘¬ν”„νŠΈ 섀계 ν•΅μ‹  κ°œλ…λ“€μ— λŒ€ν•΄ μ•Œμ•„λ³΄λ €κ³  ν•΄μš”. ν”„λ‘¬ν”„νŠΈλ₯Ό 잘 μ„€κ³„ν•˜λŠ” 것은 AI λͺ¨λΈμ΄ μ›ν•˜λŠ” λ°©μ‹μœΌλ‘œ μ‘λ‹΅ν•˜λ„λ‘ μœ λ„ν•˜λŠ” 데 핡심적인 역할을 ν•΄μš”. ν”„λ‘¬ν”„νŠΈ ꡬ성 μš”μ†Œλ₯Ό μ΄ν•΄ν•˜λ©΄, 더 효과적이고 μ •ν™•ν•œ ν”„λ‘¬ν”„νŠΈλ₯Ό λ§Œλ“€ 수 μžˆμ–΄μ„œ λͺ¨λΈμ˜ μ„±λŠ₯을 μ΅œμ ν™”ν•˜λŠ” 데 큰 도움이 λΌμš”. 그럼, 각각의 ꡬ성 μš”μ†Œμ— λŒ€ν•΄ μžμ„Ένžˆ μ‚΄νŽ΄λ³ΌκΉŒμš”?ν”„λ‘¬ν”„νŠΈ 섀계 핡심 κ°œλ…ν”„λ‘¬ν”„νŠΈλ₯Ό 잘 μ„€κ³„ν•˜κΈ° μœ„ν•΄μ„œλŠ” λͺ‡ κ°€μ§€ μ£Όμš” κ°œλ…μ„ μ΄ν•΄ν•˜κ³  적절히 μ‚¬μš©ν•˜λŠ” 것이 μ€‘μš”ν•΄μš”. 기본적이고 핡심적인 κ°œλ…μ—λŠ” λ‹€μŒκ³Ό 같은 것듀이 μžˆμ–΄μš”Role (μ—­ν• )Policy (μ •μ±…)Audience (λŒ€μƒ)Knowledge (지식)Format (ν˜•μ‹)Task (μž‘μ—…)Example (μ˜ˆμ‹œ) 1. Role (μ—­ν• )Rol..
[ν”„λ‘¬ν”„νŠΈ μ—”μ§€λ‹ˆμ–΄λ§] (1) κΈ°λ³Έ 기법과 μ˜ˆμ‹œ | Zero-shot One/Few-shot learning | Chain of Thought
Β·
πŸ› Research/NLP & LLM
μ˜€λŠ˜μ€ ν”„λ‘¬ν”„νŠΈ μ—”λ‹ˆμ§€μ–΄λ§μ˜ 기본적인 κΈ°λ²•μ˜ κ°œλ…κ³Ό μ—¬λŸ¬ μ ‘κ·Ό 방식에 λŒ€ν•΄ μ„€λͺ…ν•  μ˜ˆμ •μž…λ‹ˆλ‹€. 이 글을 톡해 ν”„λ‘¬ν”„νŠΈ μ—”μ§€λ‹ˆμ–΄λ§μ— λŒ€ν•΄ ν•œ 걸음 더 λ‚˜μ•„κ°ˆ 수 있기λ₯Ό λ°”λžλ‹ˆλ‹€ ~! μ‚¬μ‹€ 였늘 μ‚΄νŽ΄λ³΄λŠ” 기법듀은 ꡉμž₯히 기본적인 κ²ƒλ“€λ‘œ ν”„λ‘¬ν”„νŠΈ μ—”μ§€λ‹ˆλ§μ„ 쑰금 더 μ‰½κ²Œ 이해할 수 μžˆλ„λ‘ λ„μ™€μ£ΌλŠ” μ •λ„μ˜ λ‚΄μš©μ΄μ—μš”. 쑰금 더 κ³ κΈ‰ 기법도 λ‹€μŒ ν¬μŠ€νŒ…μ—μ„œ μ†Œκ°œν•˜κ³  μžˆμœΌλ‹ˆ λ§Žμ€ 관심 λΆ€νƒλ“œλ €μš”! ν”„λ‘¬ν”„νŠΈ μ—”μ§€λ‹ˆμ–΄λ§μ΄λž€?ν”„λ‘¬ν”„νŠΈ μ—”μ§€λ‹ˆμ–΄λ§μ€ 인곡지λŠ₯ λͺ¨λΈ, 특히 μ–Έμ–΄ λͺ¨λΈμ΄ μ£Όμ–΄μ§„ μž‘μ—…μ„ 더 잘 μˆ˜ν–‰ν•˜λ„λ‘ μž…λ ₯(ν”„λ‘¬ν”„νŠΈ)을 μ„€κ³„ν•˜κ³  μ‘°μ •ν•˜λŠ” κ³Όμ •μž…λ‹ˆλ‹€. μ΄λŠ” λͺ¨λΈμ—κ²Œ μ •ν™•ν•œ λ§₯락과 지침을 μ œκ³΅ν•˜μ—¬ μ›ν•˜λŠ” κ²°κ³Όλ₯Ό μ–»κΈ° μœ„ν•œ μ€‘μš”ν•œ κΈ°μˆ μž…λ‹ˆλ‹€. ν”„λ‘¬ν”„νŠΈ μ—”μ§€λ‹ˆμ–΄λ§μ˜ μ£Όμš” κΈ°λ²•μœΌλ‘œλŠ” zero-shot, one-shot,..
LLM ν”„λ‘¬ν”„νŠΈ μ—”λ‹ˆμ§€μ–΄λ§, 그게 λŒ€μ²΄ 뭔데? λ‚˜λ„ μ•Œμ•„μ•Όν•΄!?
Β·
πŸ› Research/NLP & LLM
였늘 λΆ€ν„° 'LLM ν”„λ‘¬ν”„νŠΈ μ—”μ§€λ‹ˆμ–΄λ§'μ΄λΌλŠ” μ£Όμ œμ— λŒ€ν•΄ 이야기해보렀고 ν•΄μš”. ν”„λ‘¬ν”„νŠΈ μ—”μ§€λ‹ˆμ–΄λ§μ΄λΌλŠ” 말은 μš”μ¦˜ λ§Žμ΄λ“€ 듀어보셨죠? 근데 'λ‚˜λ„ 이걸 곡뢀해야 ν•˜λ‚˜...'λΌλŠ” 생각도 많이 ν•˜μ…¨μ„ κ±° κ°™μ•„μš”.  μ•žμœΌλ‘œ κ°„λ‹¨ν•˜κ³  μ‰½κ²Œ ν”„λ‘¬ν”„νŠΈ μ—”μ§€λ‹ˆμ–΄λ§μ— λŒ€ν•œ λ‚΄μš©μ„ ν¬μŠ€νŒ…ν•΄ λ‚˜κ°ˆ μ˜ˆμ •μ΄λ‹ˆ ν•¨κ»˜ μ•Œμ•„κ°€λ΄μš”!μ–΄μ©Œλ©΄ 도움이 될지도 λͺ¨λ₯΄μž–μ•„? γ…Žγ…Žν”„λ‘¬ν”„νŠΈ μ—”μ§€λ‹ˆμ–΄λ§μ΄λž€?λ¨Όμ €, ν”„λ‘¬ν”„νŠΈ μ—”μ§€λ‹ˆμ–΄λ§μ΄ 무엇인지뢀터 μ„€λͺ…λ“œλ¦΄κ²Œμš”. 'ν”„λ‘¬ν”„νŠΈ(Prompt)'λž€ LLM(Large Language Model), 즉 GPT-4 같은 κ±°λŒ€ν•œ μ–Έμ–΄ λͺ¨λΈμ—κ²Œ μ£Όμ–΄μ§€λŠ” μ§ˆλ¬Έμ΄λ‚˜ μ§€μ‹œλ₯Ό λ§ν•΄μš”. μ‰½κ²Œ λ§ν•˜λ©΄, μš°λ¦¬κ°€ 인곡지λŠ₯μ—κ²Œ "이런 μ§ˆλ¬Έμ— λ‹΅ν•΄μ€˜"라고 μš”μ²­ν•˜λŠ” λ¬Έμž₯μž…λ‹ˆλ‹€. μ—”μ§€λ‹ˆμ–΄λ§μ΄ 뢙은 μ΄μœ λŠ” λ‹¨μˆœνžˆ μ§ˆλ¬Έν•˜λŠ” κ²ƒμ—μ„œ λλ‚˜λŠ” ..
VAE (Variational Autoencoder) μ„€λͺ… | VAE Pytorch μ½”λ“œ μ˜ˆμ‹œ
Β·
πŸ› Research/Generative AI
VAE (Variational Autoencoder)   VAE(Variational Autoencoder)λŠ” 생성 λͺ¨λΈ 쀑 ν•˜λ‚˜λ‘œ, 주둜 차원 μΆ•μ†Œ 및 생성 μž‘μ—…μ— μ‚¬μš©λ˜λŠ” 신경망 μ•„ν‚€ν…μ²˜μ΄λ‹€. VAEλŠ” λ°μ΄ν„°μ˜ 잠재 λ³€μˆ˜λ₯Ό ν•™μŠ΅ν•˜κ³  이λ₯Ό μ‚¬μš©ν•˜μ—¬ μƒˆλ‘œμš΄ 데이터λ₯Ό μƒμ„±ν•˜λŠ” 데 μ‚¬μš©λ˜λŠ”λ°, 특히 이미지 및 μŒμ„± 생성과 같은 μ‘μš© λΆ„μ•Όμ—μ„œ 널리 μ‚¬μš©λ˜κ³  μžˆλ‹€. μ΄λŸ¬ν•œ VAEλŠ” 크게 인코더와 λ””μ½”λ”λΌλŠ” 두 λΆ€λΆ„μœΌλ‘œ κ΅¬μ„±λ˜μ–΄ μžˆλ‹€. Autoencoder(μ˜€ν† μΈμ½”λ”)와 ν—·κ°ˆλ¦΄ 수 μžˆλŠ”λ°, μ˜€ν† μΈμ½”λ”λŠ” 인풋을 λ˜‘κ°™μ΄ 볡원할 수 μžˆλŠ” latent variable zλ₯Ό λ§Œλ“œλŠ” 것이 λͺ©μ , 즉 인코더λ₯Ό ν•™μŠ΅ν•˜λŠ” 것이 μ£Ό λͺ©μ μ΄κ³ ,VAE의 경우 인풋 xλ₯Ό 잘 ν‘œν˜„ν•˜λŠ” latent vectorλ₯Ό μΆ”μΆœν•˜κ³ , 이λ₯Ό 톡해 인풋..
[NLP] BERT 간단 μ„€λͺ… | Bi-Directional LM | μ–‘λ°©ν–₯ μ–Έμ–΄ λͺ¨λΈ
Β·
πŸ› Research/NLP & LLM
BERT(Bidirectional Encoder Representations from Transformers) BERTλŠ” μžμ—°μ–΄ 처리 (NLP) λΆ„μ•Όμ—μ„œ ν˜μ‹ μ μΈ λͺ¨λΈ 쀑 ν•˜λ‚˜λ‘œ, ꡬ글이 κ°œλ°œν•΄ 2018년에 κ³΅κ°œλ˜μ—ˆλ‹€. BERTλŠ” μ΄μ „μ˜ NLP λͺ¨λΈλ³΄λ‹€ 더 νƒμ›”ν•œ μ„±λŠ₯을 μ œκ³΅ν•˜μ—¬ λ‹€μ–‘ν•œ μžμ—°μ–΄ 처리 μž‘μ—…μ—μ„œ μƒμœ„ μ„±κ³Όλ₯Ό 이루어 λƒˆλ‹€. 이 λͺ¨λΈμ€ 특히 사전 ν›ˆλ ¨λœ μ–Έμ–΄ λͺ¨λΈμ„ μ‚¬μš©ν•˜μ—¬ λ‹€λ₯Έ NLP μž‘μ—…μ— μ μš©ν•  수 μžˆλŠ” λ‹€λͺ©μ  λͺ¨λΈλ‘œ μ£Όλͺ©λ°›μ•˜λ‹€. λ…Όλ¬Έ 제λͺ©μ€ μ•„λž˜μ™€ κ°™μœΌλ©° ν”ΌμΈμš©μˆ˜λŠ” μ•½ 8만회(23λ…„ 9μ›” κΈ°μ€€)둜 μ΄μ œλŠ” LM λΆ„μ•Όμ—μ„œ 정말 기본이 λ˜λŠ” 연ꡬ라고 ν•  수 μžˆλ‹€. paper : BERT: Pre-training of Deep Bidirectional Transformers for Languag..
[λ…Όλ¬Έ 리뷰] NeRF 간단 μ„€λͺ… & 원리 μ΄ν•΄ν•˜κΈ° | μƒˆλ‘œμš΄ λ°©ν–₯μ—μ„œ 바라본 viewλ₯Ό μƒμ„±ν•˜λŠ” 기술
Β·
πŸ› Research/3D Vision
- paper : NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis / ECCV2020 NeRF 논문이 κ³΅κ°œλœμ§€λ„ μ‹œκ°„μ΄ κ½€ ν˜λ €λŠ”λ°, 2020 ECCVμ—μ„œ κ³΅κ°œλμ„ λ•Œλ§Œ 해도 ꡉμž₯히 μ‹ κΈ°ν•˜κ³  획기적인 view synthesis λ°©λ²•μœΌλ‘œ 관심을 λ°›μ•˜μ§€λ§Œ, μ—¬λŸ¬ 단점 λ•Œλ¬Έμ— μ‹€μ œ μ„œλΉ„μŠ€μ— μ μš©λ˜κΈ°λŠ” 쉽지 μ•Šμ•˜λ‹€. ν•˜μ§€λ§Œ, 2023 CVPRμ—μ„œλŠ” 2022년에 λΉ„ν•΄ radianceλΌλŠ” λ‹¨μ–΄μ˜ μ‚¬μš©μ΄ 80% μ¦κ°€ν•˜κ³ , NeRF의 경우 39% μ¦κ°€ν–ˆμ„ 만큼 NeRFλŠ” ν™œλ°œνžˆ μ—°κ΅¬λ˜κ³  μžˆλ‹€. 특히 이젠 κ°œλ… 증λͺ…을 λ„˜μ–΄ veiw editing μ΄λ‚˜ 각쒅 application 연ꡬ가 μ§„ν–‰λ˜κ³  μžˆλ‹€. 즉 NeRFκ°€ 이제 각쒅 μ„œλΉ„μŠ€μ— ν™œμš©λ λ§Œ..