728x90 ๐ Research/NLP2 [NLP] BERT ๊ฐ๋จ ์ค๋ช | Bi-Directional LM | ์๋ฐฉํฅ ์ธ์ด ๋ชจ๋ธ BERT(Bidirectional Encoder Representations from Transformers) BERT๋ ์์ฐ์ด ์ฒ๋ฆฌ (NLP) ๋ถ์ผ์์ ํ์ ์ ์ธ ๋ชจ๋ธ ์ค ํ๋๋ก, ๊ตฌ๊ธ์ด ๊ฐ๋ฐํด 2018๋ ์ ๊ณต๊ฐ๋์๋ค. BERT๋ ์ด์ ์ NLP ๋ชจ๋ธ๋ณด๋ค ๋ ํ์ํ ์ฑ๋ฅ์ ์ ๊ณตํ์ฌ ๋ค์ํ ์์ฐ์ด ์ฒ๋ฆฌ ์์ ์์ ์์ ์ฑ๊ณผ๋ฅผ ์ด๋ฃจ์ด ๋๋ค. ์ด ๋ชจ๋ธ์ ํนํ ์ฌ์ ํ๋ จ๋ ์ธ์ด ๋ชจ๋ธ์ ์ฌ์ฉํ์ฌ ๋ค๋ฅธ NLP ์์ ์ ์ ์ฉํ ์ ์๋ ๋ค๋ชฉ์ ๋ชจ๋ธ๋ก ์ฃผ๋ชฉ๋ฐ์๋ค. ๋ ผ๋ฌธ ์ ๋ชฉ์ ์๋์ ๊ฐ์ผ๋ฉฐ ํผ์ธ์ฉ์๋ ์ฝ 8๋งํ(23๋ 9์ ๊ธฐ์ค)๋ก ์ด์ ๋ LM ๋ถ์ผ์์ ์ ๋ง ๊ธฐ๋ณธ์ด ๋๋ ์ฐ๊ตฌ๋ผ๊ณ ํ ์ ์๋ค. paper : BERT: Pre-training of Deep Bidirectional Transformers for Languag.. 2023. 9. 25. [์คํ ์์ค] BERT๋ฅผ ์ด์ฉํ ํ๊ตญ์ด ๊ฐ์ฒด๋ช ์ธ์ | NER (Named Entity Recognition) NER(Named Entity Recognition) Named Entity Recognition (NER)์ ์์ฐ์ด ์ฒ๋ฆฌ ๊ธฐ์ ์ค ํ๋๋ก, ๋ฌธ์ฅ ๋ด์์ ํน์ ํ ์ ํ์ ๋ช ์นญ(๊ฐ์ฒด)์ ์ธ์ํ๋ ์์ ์ด๋ค. ์๋ฅผ ๋ค์ด, "Steve Jobs๋ Apple์ ์ฐฝ์ ์์ ๋๋ค" ๋ผ๋ ๋ฌธ์ฅ์ด ์๋ค๋ฉด, "Steve Jobs"๋ ์ธ๋ฌผ(person), "Apple"์ ์กฐ์ง(organization)์ด๋ผ๋ ์ ํ์ ๊ฐ์ฒด๋ก ์ธ์๋๋ค. ์ด์ธ์๋ ์ฅ์, ์๊ฐ ๋ฑ ๋ค์ํ ๊ฐ์ฒด๋ฅผ ์ธ์ํ ์ ์๋ค. ์ด๋ฌํ NER์ ์ ๋ณด ์ถ์ถ, ์ง์ ์๋ต, ๋ฆฌ๋ทฐ ๋ถ์, ๊ธฐ๊ณ๋ฒ์ญ ๋ฑ ๋ค์ํ ๊ณณ์์ ํ์ฉ๋ ์ ์๋ค. ์ ํ ์๊ฐํ์ง ๋ชปํ๋ ํ์ฉ์ฒ๋ ๊ธฐ๊ณ๋ฒ์ญ ๋ถ์ผ์ด๋ค. ์์ด๋ฅผ ํ๊ตญ์ด๋ก ๋ฒ์ญํ ๋ ๊ธฐ์ ์ ์ง์นญํ๋ "Apple"์ "์ฌ๊ณผ"๊ฐ ์๋ "์ ํ"๋ก ๋ฒ์ญํด์ผ .. 2022. 12. 15. ์ด์ 1 ๋ค์ 728x90