Transformer Attention 이해하기: Q, K, V의 역할과 동작 원리
LLM하면 transformer를 빼먹을 수 없고, 그 핵심 중 하나는 바로 어텐션 메커니즘인데요, 이 메커니즘을 이해하면 트랜스포머가 어떻게 단어들 간의 관계를 학습하고 문맥을 파악하는지 알 수 있어요. 특히, 트랜스포머에서 사용되는 Query (Q), Key (K), Value (V)는 어텐션이 어떻게 작동하는지 이해하는 데 아주 중요한 역할을 해요. 오늘은 이 세 가지 요소가 어떻게 서로 작용하는지, 그리고 트랜스포머의 인코더와 디코더에서 각각 어떻게 사용되는지에 대해 설명해 볼거예요. 📌 Q, K, V 개념 살펴보기 Transformer Attention에서의 Query (Q), Key (K), Value (V)는 단어 간의 연관성을 파악하고, 중요한 정보를 뽑아내는 역할을 해요. 각 단어는 문..
2024. 11. 6.
[프롬프트 엔지니어링] (4) 고급 기법 : Expert prompting, Generated knowledge prompting, RAG, Tree-of-Thought, Plan-and-solve prompting, Automatic prompt engineer
이번 포스팅에서는 프롬프트 엔지니어링의 고급 기법들에 대해 알아보려고 해요. 다양한 기술을 통해 AI 모델의 성능을 한층 더 향상시킬 수 있습니다. 특히, Expert Prompting, Generated Knowledge Prompting, RAG, Tree-of-Thought, Plan-and-Solve Prompting, Automatic Prompt Engineering과 같은 기법들을 살펴볼 거예요. 각 기법의 개념과 예시를 통해 어떻게 활용할 수 있는지 알아보겠습니다. 그럼 하나씩 살펴볼까요?1. Expert PromptingExpert Prompting은 모델에게 특정 분야의 전문적인 지식을 갖춘 것처럼 행동하도록 유도하는 프롬프트 기법입니다. 이 기법은 모델이 특정 전문가의 역할을 맡아, ..
2024. 7. 27.
[프롬프트 엔지니어링] (3) 고급 기법: Few-shot, Chain-of-thought, Self-consistency, Selection-inference, Least-to-most, ReAct, Self-evaluation
이번 포스팅에서는 프롬프트 엔지니어링의 고급 기법들에 대해 알아보려고 해요. 이 기법들은 AI 모델이 복잡한 작업을 더 효과적으로 수행할 수 있도록 도와주는 중요한 도구들이에요. 특히 few-shot examples, chain-of-thought, self-consistency, selection-inference, least-to-most, react, self-evaluation 같은 기법들을 다룰 거예요. 각각의 기법을 이해하고 적절히 활용하면, 더 정확하고 유용한 AI 응답을 얻을 수 있어요. 그럼, 각 기법들을 하나씩 살펴볼까요?Few-shot ExamplesFew-shot examples는 모델에게 여러 개의 예시를 제공해서, 모델이 이 예시들을 바탕으로 작업을 수행하게 하는 방법이에요. 이..
2024. 7. 27.
