[ํ”„๋กฌํ”„ํŠธ ์—”์ง€๋‹ˆ์–ด๋ง] (1) ๊ธฐ๋ณธ ๊ธฐ๋ฒ•๊ณผ ์˜ˆ์‹œ | Zero-shot One/Few-shot learning | Chain of Thought
ยท
๐Ÿ› Research/NLP & LLM
์˜ค๋Š˜์€ ํ”„๋กฌํ”„ํŠธ ์—”๋‹ˆ์ง€์–ด๋ง์˜ ๊ธฐ๋ณธ์ ์ธ ๊ธฐ๋ฒ•์˜ ๊ฐœ๋…๊ณผ ์—ฌ๋Ÿฌ ์ ‘๊ทผ ๋ฐฉ์‹์— ๋Œ€ํ•ด ์„ค๋ช…ํ•  ์˜ˆ์ •์ž…๋‹ˆ๋‹ค. ์ด ๊ธ€์„ ํ†ตํ•ด ํ”„๋กฌํ”„ํŠธ ์—”์ง€๋‹ˆ์–ด๋ง์— ๋Œ€ํ•ด ํ•œ ๊ฑธ์Œ ๋” ๋‚˜์•„๊ฐˆ ์ˆ˜ ์žˆ๊ธฐ๋ฅผ ๋ฐ”๋ž๋‹ˆ๋‹ค ~! ์‚ฌ์‹ค ์˜ค๋Š˜ ์‚ดํŽด๋ณด๋Š” ๊ธฐ๋ฒ•๋“ค์€ ๊ต‰์žฅํžˆ ๊ธฐ๋ณธ์ ์ธ ๊ฒƒ๋“ค๋กœ ํ”„๋กฌํ”„ํŠธ ์—”์ง€๋‹ˆ๋ง์„ ์กฐ๊ธˆ ๋” ์‰ฝ๊ฒŒ ์ดํ•ดํ•  ์ˆ˜ ์žˆ๋„๋ก ๋„์™€์ฃผ๋Š” ์ •๋„์˜ ๋‚ด์šฉ์ด์—์š”. ์กฐ๊ธˆ ๋” ๊ณ ๊ธ‰ ๊ธฐ๋ฒ•๋„ ๋‹ค์Œ ํฌ์ŠคํŒ…์—์„œ ์†Œ๊ฐœํ•˜๊ณ  ์žˆ์œผ๋‹ˆ ๋งŽ์€ ๊ด€์‹ฌ ๋ถ€ํƒ๋“œ๋ ค์š”! ํ”„๋กฌํ”„ํŠธ ์—”์ง€๋‹ˆ์–ด๋ง์ด๋ž€?ํ”„๋กฌํ”„ํŠธ ์—”์ง€๋‹ˆ์–ด๋ง์€ ์ธ๊ณต์ง€๋Šฅ ๋ชจ๋ธ, ํŠนํžˆ ์–ธ์–ด ๋ชจ๋ธ์ด ์ฃผ์–ด์ง„ ์ž‘์—…์„ ๋” ์ž˜ ์ˆ˜ํ–‰ํ•˜๋„๋ก ์ž…๋ ฅ(ํ”„๋กฌํ”„ํŠธ)์„ ์„ค๊ณ„ํ•˜๊ณ  ์กฐ์ •ํ•˜๋Š” ๊ณผ์ •์ž…๋‹ˆ๋‹ค. ์ด๋Š” ๋ชจ๋ธ์—๊ฒŒ ์ •ํ™•ํ•œ ๋งฅ๋ฝ๊ณผ ์ง€์นจ์„ ์ œ๊ณตํ•˜์—ฌ ์›ํ•˜๋Š” ๊ฒฐ๊ณผ๋ฅผ ์–ป๊ธฐ ์œ„ํ•œ ์ค‘์š”ํ•œ ๊ธฐ์ˆ ์ž…๋‹ˆ๋‹ค. ํ”„๋กฌํ”„ํŠธ ์—”์ง€๋‹ˆ์–ด๋ง์˜ ์ฃผ์š” ๊ธฐ๋ฒ•์œผ๋กœ๋Š” zero-shot, one-shot,..
LLM ํ”„๋กฌํ”„ํŠธ ์—”๋‹ˆ์ง€์–ด๋ง, ๊ทธ๊ฒŒ ๋Œ€์ฒด ๋ญ”๋ฐ? ๋‚˜๋„ ์•Œ์•„์•ผํ•ด!?
ยท
๐Ÿ› Research/NLP & LLM
์˜ค๋Š˜ ๋ถ€ํ„ฐ 'LLM ํ”„๋กฌํ”„ํŠธ ์—”์ง€๋‹ˆ์–ด๋ง'์ด๋ผ๋Š” ์ฃผ์ œ์— ๋Œ€ํ•ด ์ด์•ผ๊ธฐํ•ด๋ณด๋ ค๊ณ  ํ•ด์š”. ํ”„๋กฌํ”„ํŠธ ์—”์ง€๋‹ˆ์–ด๋ง์ด๋ผ๋Š” ๋ง์€ ์š”์ฆ˜ ๋งŽ์ด๋“ค ๋“ค์–ด๋ณด์…จ์ฃ ? ๊ทผ๋ฐ '๋‚˜๋„ ์ด๊ฑธ ๊ณต๋ถ€ํ•ด์•ผ ํ•˜๋‚˜...'๋ผ๋Š” ์ƒ๊ฐ๋„ ๋งŽ์ด ํ•˜์…จ์„ ๊ฑฐ ๊ฐ™์•„์š”.  ์•ž์œผ๋กœ ๊ฐ„๋‹จํ•˜๊ณ  ์‰ฝ๊ฒŒ ํ”„๋กฌํ”„ํŠธ ์—”์ง€๋‹ˆ์–ด๋ง์— ๋Œ€ํ•œ ๋‚ด์šฉ์„ ํฌ์ŠคํŒ…ํ•ด ๋‚˜๊ฐˆ ์˜ˆ์ •์ด๋‹ˆ ํ•จ๊ป˜ ์•Œ์•„๊ฐ€๋ด์š”!์–ด์ฉŒ๋ฉด ๋„์›€์ด ๋ ์ง€๋„ ๋ชจ๋ฅด์ž–์•„? ใ…Žใ…Žํ”„๋กฌํ”„ํŠธ ์—”์ง€๋‹ˆ์–ด๋ง์ด๋ž€?๋จผ์ €, ํ”„๋กฌํ”„ํŠธ ์—”์ง€๋‹ˆ์–ด๋ง์ด ๋ฌด์—‡์ธ์ง€๋ถ€ํ„ฐ ์„ค๋ช…๋“œ๋ฆด๊ฒŒ์š”. 'ํ”„๋กฌํ”„ํŠธ(Prompt)'๋ž€ LLM(Large Language Model), ์ฆ‰ GPT-4 ๊ฐ™์€ ๊ฑฐ๋Œ€ํ•œ ์–ธ์–ด ๋ชจ๋ธ์—๊ฒŒ ์ฃผ์–ด์ง€๋Š” ์งˆ๋ฌธ์ด๋‚˜ ์ง€์‹œ๋ฅผ ๋งํ•ด์š”. ์‰ฝ๊ฒŒ ๋งํ•˜๋ฉด, ์šฐ๋ฆฌ๊ฐ€ ์ธ๊ณต์ง€๋Šฅ์—๊ฒŒ "์ด๋Ÿฐ ์งˆ๋ฌธ์— ๋‹ตํ•ด์ค˜"๋ผ๊ณ  ์š”์ฒญํ•˜๋Š” ๋ฌธ์žฅ์ž…๋‹ˆ๋‹ค. ์—”์ง€๋‹ˆ์–ด๋ง์ด ๋ถ™์€ ์ด์œ ๋Š” ๋‹จ์ˆœํžˆ ์งˆ๋ฌธํ•˜๋Š” ๊ฒƒ์—์„œ ๋๋‚˜๋Š” ..
[NLP] BERT ๊ฐ„๋‹จ ์„ค๋ช… | Bi-Directional LM | ์–‘๋ฐฉํ–ฅ ์–ธ์–ด ๋ชจ๋ธ
ยท
๐Ÿ› Research/NLP & LLM
BERT(Bidirectional Encoder Representations from Transformers) BERT๋Š” ์ž์—ฐ์–ด ์ฒ˜๋ฆฌ (NLP) ๋ถ„์•ผ์—์„œ ํ˜์‹ ์ ์ธ ๋ชจ๋ธ ์ค‘ ํ•˜๋‚˜๋กœ, ๊ตฌ๊ธ€์ด ๊ฐœ๋ฐœํ•ด 2018๋…„์— ๊ณต๊ฐœ๋˜์—ˆ๋‹ค. BERT๋Š” ์ด์ „์˜ NLP ๋ชจ๋ธ๋ณด๋‹ค ๋” ํƒ์›”ํ•œ ์„ฑ๋Šฅ์„ ์ œ๊ณตํ•˜์—ฌ ๋‹ค์–‘ํ•œ ์ž์—ฐ์–ด ์ฒ˜๋ฆฌ ์ž‘์—…์—์„œ ์ƒ์œ„ ์„ฑ๊ณผ๋ฅผ ์ด๋ฃจ์–ด ๋ƒˆ๋‹ค. ์ด ๋ชจ๋ธ์€ ํŠนํžˆ ์‚ฌ์ „ ํ›ˆ๋ จ๋œ ์–ธ์–ด ๋ชจ๋ธ์„ ์‚ฌ์šฉํ•˜์—ฌ ๋‹ค๋ฅธ NLP ์ž‘์—…์— ์ ์šฉํ•  ์ˆ˜ ์žˆ๋Š” ๋‹ค๋ชฉ์  ๋ชจ๋ธ๋กœ ์ฃผ๋ชฉ๋ฐ›์•˜๋‹ค. ๋…ผ๋ฌธ ์ œ๋ชฉ์€ ์•„๋ž˜์™€ ๊ฐ™์œผ๋ฉฐ ํ”ผ์ธ์šฉ์ˆ˜๋Š” ์•ฝ 8๋งŒํšŒ(23๋…„ 9์›” ๊ธฐ์ค€)๋กœ ์ด์ œ๋Š” LM ๋ถ„์•ผ์—์„œ ์ •๋ง ๊ธฐ๋ณธ์ด ๋˜๋Š” ์—ฐ๊ตฌ๋ผ๊ณ  ํ•  ์ˆ˜ ์žˆ๋‹ค. paper : BERT: Pre-training of Deep Bidirectional Transformers for Languag..
[์˜คํ”ˆ ์†Œ์Šค] BERT๋ฅผ ์ด์šฉํ•œ ํ•œ๊ตญ์–ด ๊ฐœ์ฒด๋ช… ์ธ์‹ | NER (Named Entity Recognition)
ยท
๐Ÿ› Research/NLP & LLM
NER(Named Entity Recognition) Named Entity Recognition (NER)์€ ์ž์—ฐ์–ด ์ฒ˜๋ฆฌ ๊ธฐ์ˆ  ์ค‘ ํ•˜๋‚˜๋กœ, ๋ฌธ์žฅ ๋‚ด์—์„œ ํŠน์ •ํ•œ ์œ ํ˜•์˜ ๋ช…์นญ(๊ฐœ์ฒด)์„ ์ธ์‹ํ•˜๋Š” ์ž‘์—…์ด๋‹ค. ์˜ˆ๋ฅผ ๋“ค์–ด, "Steve Jobs๋Š” Apple์˜ ์ฐฝ์—…์ž์ž…๋‹ˆ๋‹ค" ๋ผ๋Š” ๋ฌธ์žฅ์ด ์žˆ๋‹ค๋ฉด, "Steve Jobs"๋Š” ์ธ๋ฌผ(person), "Apple"์€ ์กฐ์ง(organization)์ด๋ผ๋Š” ์œ ํ˜•์˜ ๊ฐœ์ฒด๋กœ ์ธ์‹๋œ๋‹ค. ์ด์™ธ์—๋„ ์žฅ์†Œ, ์‹œ๊ฐ„ ๋“ฑ ๋‹ค์–‘ํ•œ ๊ฐœ์ฒด๋ฅผ ์ธ์‹ํ•  ์ˆ˜ ์žˆ๋‹ค. ์ด๋Ÿฌํ•œ NER์€ ์ •๋ณด ์ถ”์ถœ, ์งˆ์˜ ์‘๋‹ต, ๋ฆฌ๋ทฐ ๋ถ„์„, ๊ธฐ๊ณ„๋ฒˆ์—ญ ๋“ฑ ๋‹ค์–‘ํ•œ ๊ณณ์—์„œ ํ™œ์šฉ๋  ์ˆ˜ ์žˆ๋‹ค. ์ „ํ˜€ ์ƒ๊ฐํ•˜์ง€ ๋ชปํ–ˆ๋˜ ํ™œ์šฉ์ฒ˜๋Š” ๊ธฐ๊ณ„๋ฒˆ์—ญ ๋ถ„์•ผ์ด๋‹ค. ์˜์–ด๋ฅผ ํ•œ๊ตญ์–ด๋กœ ๋ฒˆ์—ญํ•  ๋•Œ ๊ธฐ์—…์„ ์ง€์นญํ•˜๋Š” "Apple"์€ "์‚ฌ๊ณผ"๊ฐ€ ์•„๋‹Œ "์• ํ”Œ"๋กœ ๋ฒˆ์—ญํ•ด์•ผ ..