본문 바로가기

🏛 Research/NLP & LLM4

Transformer의 인코더와 디코더 쉽게 이해하기 Transformer 모델은 인코더와 디코더라는 두 가지 핵심 부분으로 나뉘어요.오늘은 이 두 부분이 각각 어떤 역할을 하고, 어떻게 다르게 동작하는지 친근하게 설명해 볼게요!📌 인코더 (Encoder)역할: 인코더는 입력된 문장의 정보를 전체적으로 이해하려고 해요. 예를 들어, "나는 밥을 먹었다"라는 문장이 있으면, 인코더는 이 문장의 모든 단어들이 서로 어떻게 연결되고, 문장의 전체적인 의미와 맥락이 무엇인지를 파악해요.특징: 인코더는 먼저 각 단어를 벡터로 변환한 후, 각 단어들이 서로 어떻게 연결되는지 파악해요. 이렇게 여러 번의 연산을 거치면, 문장의 의미를 더 깊고 정확하게 이해할 수 있어요.구조: 인코더는 Self-Attention과 피드포워드 네트워크를 이용해요. Self-Attent.. 2024. 11. 6.

Transformer Attention 이해하기: Q, K, V의 역할과 동작 원리 LLM하면 transformer를 빼먹을 수 없고, 그 핵심 중 하나는 바로 어텐션 메커니즘인데요, 이 메커니즘을 이해하면 트랜스포머가 어떻게 단어들 간의 관계를 학습하고 문맥을 파악하는지 알 수 있어요. 특히, 트랜스포머에서 사용되는 Query (Q), Key (K), Value (V)는 어텐션이 어떻게 작동하는지 이해하는 데 아주 중요한 역할을 해요. 오늘은 이 세 가지 요소가 어떻게 서로 작용하는지, 그리고 트랜스포머의 인코더와 디코더에서 각각 어떻게 사용되는지에 대해 설명해 볼거예요. 📌 Q, K, V 개념 살펴보기 Transformer Attention에서의 Query (Q), Key (K), Value (V)는 단어 간의 연관성을 파악하고, 중요한 정보를 뽑아내는 역할을 해요. 각 단어는 문.. 2024. 11. 6.

[NLP] BERT 간단 설명 | Bi-Directional LM | 양방향 언어 모델 BERT(Bidirectional Encoder Representations from Transformers) BERT는 자연어 처리 (NLP) 분야에서 혁신적인 모델 중 하나로, 구글이 개발해 2018년에 공개되었다. BERT는 이전의 NLP 모델보다 더 탁월한 성능을 제공하여 다양한 자연어 처리 작업에서 상위 성과를 이루어 냈다. 이 모델은 특히 사전 훈련된 언어 모델을 사용하여 다른 NLP 작업에 적용할 수 있는 다목적 모델로 주목받았다. 논문 제목은 아래와 같으며 피인용수는 약 8만회(23년 9월 기준)로 이제는 LM 분야에서 정말 기본이 되는 연구라고 할 수 있다. paper : BERT: Pre-training of Deep Bidirectional Transformers for Languag.. 2023. 9. 25.

[오픈 소스] BERT를 이용한 한국어 개체명 인식 | NER (Named Entity Recognition) NER(Named Entity Recognition) Named Entity Recognition (NER)은 자연어 처리 기술 중 하나로, 문장 내에서 특정한 유형의 명칭(개체)을 인식하는 작업이다. 예를 들어, "Steve Jobs는 Apple의 창업자입니다" 라는 문장이 있다면, "Steve Jobs"는 인물(person), "Apple"은 조직(organization)이라는 유형의 개체로 인식된다. 이외에도 장소, 시간 등 다양한 개체를 인식할 수 있다. 이러한 NER은 정보 추출, 질의 응답, 리뷰 분석, 기계번역 등 다양한 곳에서 활용될 수 있다. 전혀 생각하지 못했던 활용처는 기계번역 분야이다. 영어를 한국어로 번역할 때 기업을 지칭하는 "Apple"은 "사과"가 아닌 "애플"로 번역해야 .. 2022. 12. 15.

이전 1 다음

티스토리툴바