MoE(Mixture of Experts) 개념 설명: 거대 모델을 sparse 계산으로 확장

요즘 LLM에서 이야기하는 MoE(Mixture of Experts)는 sparse 라우팅 기반의 조건부 연산 구조를 의미한다. MoE는 고전적인 앙상블·모듈러 네트워크 계열과는 구분되는 개념이며, 실제로 대규모 언어 모델 스케일링 전략으로 정립된 시점은 비교적 최근이다.

LLM에서의 MoE를 본격적으로 이해하기 위한 대표적 기준점은 다음 두 연구이다.

• Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer
  이 논문은 토큰마다 top-k expert만 활성화하는 sparsely-gated MoE 구조를 제안하며, 대규모 모델에서 계산 비용을 제어할 수 있음을 명확히 보여주었다. 오늘날 LLM MoE의 구조적 원형에 해당한다.
• Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity
  Switch Transformer는 top-1 routing이라는 단순한 설계를 통해 MoE를 실제 초대규모 모델(수천억~조 단위 파라미터)로 확장 가능함을 입증했다. 이 논문을 계기로 MoE는 "이론적 아이디어"가 아니라 현실적인 LLM 스케일링 방법으로 자리 잡았다.

 

 

1. MoE란 무엇인가?

MoE(Mixture of Experts)는 여러 개의 전문가(Experts) 중 일부만 선택해 계산을 수행하는 조건부 연산(Conditional Computation) 구조이다. 모델의 전체 파라미터 수는 매우 크지만, 각 토큰이 실제로 거치는 연산 경로는 제한된다.

핵심은 "MoE는 모델의 총 용량은 키우되, 토큰당 계산 비용은 억제하기 위한 구조이다." 라고 볼 수 있다.

 

예를 들어 Qwen3-VL-235B-A22B-Instruct라는 표기에서,

• 235B는 모델이 보유한 전체 파라미터 규모이고
• A22B(Activated 22B)는 한 번의 forward에서 실제로 활성화되는 파라미터 규모를 의미한다.

즉, 235B 규모의 모델이지만 매 토큰마다 235B 전체를 계산하지는 않는다.

 

2. 왜 Dense 모델만으로는 부족한가?

대규모 언어 모델은 파라미터 수를 늘릴수록 성능이 좋아지는 경향을 보인다. 그러나 Dense 구조에서는 파라미터 수 증가가 곧바로 계산량 증가로 이어진다. 이로 인해 다음과 같은 한계가 발생한다.

• 학습 비용이 기하급수적으로 증가
• 서빙 시 latency와 비용이 커진짐
• 멀티모달 입력처럼 토큰 수 변동성이 큰 경우 부담이 더욱 커짐

MoE는 이러한 한계를 해결하기 위해 등장했다. 계산 경로를 sparse하게 만들어, 모델은 크지만 계산은 가볍게 가져가는 것이 목표이다.

 

3. MoE의 핵심 구성 요소는 무엇인가?

MoE 구조는 크게 두 가지 구성 요소로 이루어진다. 실제 계산을 담당하는 Experts, 그리고 입력에 따라 계산 경로를 결정하는 Router(Gating Network)이다. 

3.1 Experts

Experts는 동일한 구조를 가진 여러 개의 서브 네트워크 집합이다. Transformer 계열 모델에서는 주로 FFN(Feed-Forward Network)을 여러 개 복제해 expert로 사용한다.

 

Dense Transformer에서는 하나의 FFN이 모든 토큰을 처리한다. 반면 MoE에서는 다음과 같은 구조를 가진다.

• FFN₁ (Expert 1)
• FFN₂ (Expert 2)
• …
• FFNₙ (Expert N)

각 expert는 구조적으로는 동일하지만, 파라미터는 서로 다르다. 즉, 역할 분리는 구조가 아니라 학습 과정에서 자연스럽게 발생한다.

학습이 진행되면서 다음과 같은 현상이 관찰된다.

• 어떤 expert는 문법적 토큰에 강해진다.
• 어떤 expert는 희귀 단어, 고유명사, 특정 스타일에 민감해진다.
• 멀티모달 모델에서는 이미지 토큰이나 특정 시각 패턴에 더 반응하는 expert가 나타나기도 한다.

중요한 점은, expert가 명시적으로 “전문화되도록” 설계하지 않아도, Router의 선택과 gradient 흐름에 의해 암묵적인 specialization이 형성된다는 점이다. 다만, 이 전문화는 보장된 특성이 아니라 라우팅과 학습 안정성에 크게 의존한다. 잘못 설계하면 일부 expert는 거의 사용되지 않는 “죽은 expert”가 되기도 한다.

3.2 Router(Gating Network): 경로를 선택하는 판단자

Router는 MoE 구조에서 가장 중요한 역할을 하는 구성 요소이다. Router의 역할은 단순하다.

“이 토큰을 어떤 expert에게 보내야 할까?”

 

Router는 입력 토큰의 hidden representation을 받아, 각 expert에 대해 score 또는 probability를 출력한다.

• 입력: 토큰의 hidden state
• 출력: 각 expert에 대한 선택 점수

이 점수를 기준으로 Router는 top-k expert를 선택한다.

• top-1 routing: 가장 점수가 높은 expert 하나만 선택
• top-2 routing: 상위 두 expert를 선택해 가중합

이때 선택되지 않은 expert는 완전히 계산에서 제외된다. 즉, 파라미터는 존재하지만 연산은 수행되지 않는다.

 

이 지점이 MoE의 핵심이다. Router는 단순히 “가중치를 섞는 모듈”이 아니라, 토큰 단위로 계산 경로 자체를 결정하는 제어 장치이다.

 

4. MoE는 실제로 어떻게 동작하는가?

MoE는 Transformer 외부에 따로 붙는 구조가 아니라, 기존 Transformer 블록 내부의 FFN을 대체하는 방식으로 동작한다. 이를 이해하려면 먼저 Dense Transformer의 흐름부터 보는 것이 좋다.

 

Dense Transformer는 Self-Attention, FFN으로 구성되는데 이때 모든 토큰이 동일한 FFN을 통과하게 되어 토큰의 의미에 무관하게 계산 경로는 항상 동일하다.

 

MoE에서는 Attention 구조는 그대로 유지되고, FFN 위치에 여러 개의 expert가 배치된 MoE 레이어가 들어간다.

MoE-FFN 내부에서는 다음과 같은 단계가 수행된다.

1. 토큰이 Self-Attention을 거쳐 hidden representation을 얻는다.
2. Router가 이 hidden state를 입력으로 받아 expert 점수를 계산한다.
3. Router는 점수를 기준으로 top-k expert를 선택한다.
4. 선택된 expert만 해당 토큰에 대해 FFN 계산을 수행한다.
5. (top-2 이상의 경우) expert 출력들을 가중합한다.
6. 결과를 다음 Transformer 레이어로 전달한다.

이 과정에서 선택되지 않은 expert는 완전히 계산에서 제외된다.

Top-1 routing은 토큰 하나가 expert 하나만 통과하는 것이고, Top-2 routing은 토큰이 두 expert를 통과하고 결과를 weigted sum하는 방법이다.

 

5. MoE에서 가장 중요한 이슈: 라우팅 불균형

MoE 구조에서 반드시 마주치는 문제는 특정 expert로 토큰이 몰리는 현상이다. 이 문제가 발생하면 다음과 같은 부작용이 생긴다.

• 일부 expert만 과도하게 학습되고 나머지는 거의 사용되지 않는다.
• 특정 GPU 또는 노드에 병목이 발생한다.

이를 해결하기 위해 실제 구현에서는 다음과 같은 기법이 사용된다.

• Load balancing loss를 추가해 expert 사용량을 균등하게 유도한다.
• Capacity factor를 도입해 expert가 처리할 수 있는 토큰 수를 제한한다.
• Router 구조 및 routing 전략을 개선한다.

MoE는 단순한 모델 구조가 아니라, 라우팅과 시스템 설계를 함께 고려해야 하는 구조이다.

 

6. Activated Parameters

MoE 모델을 이해할 때 Total Parameters와 Activated Parameters의 구분은 매우 중요하다.

• Total Parameters: 모델이 보유한 전체 파라미터
• Activated Parameters: 토큰 하나가 실제로 사용하는 파라미터

A22B와 같은 표기는 MoE 모델의 계산 효율을 직관적으로 보여준다. 모델 용량과 계산 비용을 분리해 설명할 수 있기 때문이다.

---

MoE는 파라미터 대비 성능 효율이 뛰어나고, 모델 용량을 비교적 유연하게 확장할 수 있는 구조이다. Dense 모델로는 감당하기 어려운 규모의 모델을 현실적인 계산 비용 안에서 학습하고 서빙할 수 있다는 점에서, MoE는 대규모 언어 모델 스케일링의 중요한 선택지로 자리 잡았다.

 

물론 학습과 서빙 시스템의 복잡도가 크게 증가하는 치명적인 단점이 존재한다. 라우팅 안정성, expert 간 부하 불균형, 분산 환경에서의 통신 비용 등은 MoE 모델을 실제로 운용할 때 반드시 해결해야 할 난제들이다. 이 때문에 MoE는 단순한 모델 구조가 아니라, 시스템 설계와 함께 고려되어야 하는 기술로 평가된다.

 

그럼에도 불구하고 Qwen을 비롯한 여러 글로벌 모델들이 MoE 기반 모델을 적극적으로 공개하고 있다는 점은, 이러한 복잡성을 감수할 만큼의 실질적인 이점이 존재함을 보여준다.