[AI/LLM] Transformer의 인코더와 디코더 쉽게 이해하기

Transformer 아키텍처는 크게 정보를 압축하고 이해하는 Encoder와, 이를 바탕으로 새로운 시퀀스를 생성하는 Decoder로 나뉜다. 각 컴포넌트의 수학적 설계 의도와 연산 특성, 그리고 이를 응용한 대표적인 모델군(BERT, T5, GPT)의 차이점을 정리해 본다.

---

1. Encoder

인코더는 입력 시퀀스 $X = {x_1, x_2, \dots, x_n}$의 각 토큰이 문장 내 다른 모든 토큰과 어떤 관계를 맺는지 파악하여, 풍부한 문맥이 담긴 잠재 벡터(Latent Vector)를 생성한다.

① Multi-Head Self-Attention (MHSA)

인코더의 핵심은 모든 위치의 토큰을 동시에 참조하는 Bi-directional(양방향) 연산이다. $h$개의 헤드를 사용하는 MHSA는 서로 다른 서브 공간에서 문맥을 파악한다.

$$\text{MultiHead}(Q, K, V) = \text{Concat}(\text{head}_1, \dots, \text{head}_h)W^O$$

$$\text{where head}_i = \text{Attention}(XW_i^Q, XW_i^K, XW_i^V)$$

이 연산은 시퀀스 내의 장거리 의존성(Long-range dependency)을 $O(1)$의 경로 길이로 학습할 수 있게 한다. RE 관점에서는 이 과정에서 발생하는 $O(n^2)$의 메모리 복잡도를 제어하기 위해 FlashAttention과 같은 커널 최적화가 필수적으로 고려된다.

② Residual Connection & Layer Normalization (Pre-LN vs Post-LN)

각 서브 레이어(Attention, FFN)의 출력에는 Residual Connection과 Layer Normalization이 적용된다.

• Post-LN (Original Transformer): $\text{LayerNorm}(x + \text{Sublayer}(x))$ 구조이다. 성능은 높으나 초기 학습 시 그레디언트 불안정성이 발생할 수 있다.
• Pre-LN (최신 LLM 표준): $x + \text{Sublayer}(\text{LayerNorm}(x))$ 구조이다. 학습 안정성이 뛰어나 매우 깊은 층(Deep Networks)을 쌓는 현대의 Foundation Model(ViT, GPT-3 등)에서 주로 채택된다.

 

2. Decoder

디코더는 이전에 생성된 토큰들을 기반으로 다음 토큰의 조건부 확률 분포를 예측하는 Auto-regressive 모델이다. 인코더와 달리 인과 관계를 유지하기 위한 특수한 구조를 가진다.

① Masked Multi-Head Attention

디코더의 첫 번째 레이어는 현재 시점 $t$ 이후의 토큰(미래 정보)을 참조하지 못하도록 Causal Masking을 적용한다.

$$\text{MaskedAttention}(Q, K, V) = \text{softmax}\left(\frac{QK^T + M}{\sqrt{d_k}}\right)V$$

• $M_{ij} = 0$ (if $i \ge j$), $M_{ij} = -\infty$ (if $i < j$)

이 마스킹 처리를 통해 학습 시에는 전체 문장을 한 번에 입력하되(Teacher Forcing), 각 시점에서는 과거 정보만을 바탕으로 다음 단어를 예측하도록 강제한다.

② Encoder-Decoder Cross-Attention

인코더와 디코더를 연결하는 핵심 브릿지이다.

• Query: 디코더의 Masked Self-Attention 출력에서 생성된다. ("현재 생성 중인 문맥에서 필요한 정보가 무엇인가?")
• Key, Value: 인코더의 최종 출력 벡터(Memory)에서 생성된다. ("입력 문장의 각 부분은 어떤 정보를 담고 있는가?")

이 연산을 통해 디코더는 출력 시퀀스의 각 단계에서 입력 문장의 특정 영역에 집중(Align)하게 된다. RE로서 모델을 경량화할 때, Cross-Attention의 파라미터가 인코더 정보 전체를 참조하므로 연산 비용이 높다는 점을 인지하고 KV Cache 최적화에 집중해야 한다.

③ Feed-Forward Network (FFN) 및 추론 병목

디코더의 각 층 끝에는 위치별 완전 연결망(Position-wise FFN)이 존재한다. 최근 모델들은 ReLU 대신 SwiGLU나 GeLU를 활성화 함수로 사용하여 비선형 표현력을 높인다. 추론 시에는 매 토큰마다 이 모든 층을 통과해야 하므로, 병렬 연산이 가능한 인코더보다 처리 속도(Throughput)가 낮아지는 특성이 있다.

 

3. 모델별 구조적 변형 및 특성 비교

Transformer 아키텍처는 목적에 따라 특정 부분만을 특화시켜 발전해 왔다.

구분	Encoder-Only (BERT 계열)	Encoder-Decoder (T5/BART 계열)	Decoder-Only (GPT 계열)
핵심 목적	자연어 이해 (NLU)	시퀀스 변환 (Seq2Seq)	자연어 생성 (NLG)
학습 방식	Masked LM (양방향)	Text-to-Text (복합)	Causal LM (단방향)
장점	문맥 이해도가 매우 높음	입출력 형식이 자유롭고 범용적임	긴 문맥 유지 및 생성 성능 탁월
단점	텍스트 생성 불가	파라미터 및 연산 효율 저하 가능성	양방향 정보 활용에 상대적 한계

① Only Encoder (예: BERT)

BERT는 문장의 중간 단어를 가리고 주변 단어로 이를 맞추는 Masked Language Modeling(MLM)을 통해 학습된다. 텍스트 분류, 개체명 인식(NER) 등 문장의 의미를 깊게 파악해야 하는 태스크에 최적화되어 있다.

② Encoder-Decoder (예: T5)

T5는 모든 NLP 문제를 "Text-to-Text" 프레임워크로 통합한다. 인코더는 질문을 해석하고, 디코더는 답을 생성하는 분업 구조를 통해 번역 및 요약에서 강력한 성능을 발휘한다.

③ Only Decoder (예: GPT 시리즈)

최근 대규모 언어 모델(LLM)의 주류 구조이다. 별도의 인코더 없이 입력 프롬프트 자체를 디코더의 초기 입력으로 처리한다. 모델 크기를 키웠을 때 나타나는 Scaling Law에 가장 효율적이며, Few-shot 학습 능력이 뛰어나다.

 

4. 연산 효율성

모델을 설계하거나 서빙할 때 가장 중요하게 고려해야 할 지점은 연산 복잡도와 Throughput이다.

1. Encoder의 병렬성: 학습과 추론 모두 전체 시퀀스를 한 번의 Forward pass로 처리할 수 있어 처리 속도가 매우 빠르다.
2. Decoder의 순차성: 추론 시 한 토큰씩 생성해야 하므로 시퀀스 길이에 비례하여 지연 시간(Latency)이 선형적으로 증가한다. 이를 극복하기 위해 앞서 언급한 KV Caching이나 Speculative Decoding 같은 기법이 필수적으로 요구된다.

---

Transformer의 세부 구조 선택은 해결하려는 문제의 도메인과 서빙 환경에 따라 결정되어야 한다. 이해 중심의 태스크라면 Encoder 기반 모델이 효율적이며, 복잡한 추론이나 창의적 생성이 목적이라면 Decoder 기반의 대형 모델이 유리하다. 최근에는 이미지 및 비디오 생성 분야에서도 DiT(Diffusion Transformer)와 같이 Decoder-only 혹은 가벼운 Encoder 구조를 결합한 형태가 SOTA(State-of-the-Art)를 기록하고 있다.

---

AI/ML 직군 취업 & 커리어 성장을 원하시나요?

[책 추천] 나는 AI엔지니어입니다 | 제이펍 | AI/ML 직군 취업 & 성장 가이드

『나는 AI 엔지니어입니다』