[MLLM] InternVL3.5 테크니컬 리포트 리뷰

https://arxiv.org/abs/2508.18265

1. Introduction

InternVL3.5는 OpenGVLab이 2025년 8월 공개한 효율성과 성능을 동시에 개선한 오픈소스 멀티모달 모델로, Qwen 시리즈 다음으로 자주 등장하는 모델이 아닐까 싶다.

 

기존 멀티모달 모델들은 성능 향상에 집중했지만, 추론 속도와 메모리 효율성은 상대적으로 소홀했다. InternVL3.5는 성능과 효율성을 동시에 개선하는 것이 실용적 배포에 필수적임을 보여준다. 특히 추론 속도 약 4배 향상은 실시간 응용에서 큰 차이를 만든다.

 

기존 InternVL3는 다양한 멀티모달 작업에서 좋은 성능을 보였지만, 추론 속도와 메모리 효율성 측면에서 개선이 필요했다. 특히 대규모 모델을 배포할 때는 단일 GPU의 메모리 제약이 큰 문제였다. 또한 모든 이미지를 동일한 해상도로 처리하는 것은 비효율적이다. 문서의 배경 부분은 낮은 해상도로 충분하지만, 텍스트가 있는 부분은 높은 해상도가 필요하다. 기존 방식은 모든 이미지를 동일한 해상도로 처리하여 불필요한 계산을 수행했다.

 

효율성과 성능의 트레이드오프는 멀티모달 모델의 핵심 과제다. GUI interaction이나 embodied agency 같은 실시간 응용에서는 추론 속도가 사용자 경험을 결정한다. 사용자가 GUI 요소를 클릭하라고 요청했을 때, 모델이 몇 초씩 걸려서 응답한다면 실용적이지 않다. InternVL3.5는 이 문제를 세 가지 기술로 해결했다.

2. Technical Approach

InternVL3.5는 효율성과 성능을 동시에 개선하기 위해 세 가지 핵심 기술을 제안했다.

2.1. Cascade Reinforcement Learning

Cascade RL은 두 단계 학습 프레임워크로, 먼저 Offline RL로 안정적인 수렴을 달성한 후 Online RL로 정밀한 정렬을 수행한다. 이 coarse-to-fine 전략은 추론 성능을 크게 향상시키면서도 학습 안정성을 유지한다.

Stage 1: Offline RL (Mixed Preference Optimization)

• 목적: 안정적인 수렴 달성
• 방법: Mixed Preference Optimization (MPO) 사용
• Loss Fuction:
  • Preference loss: 인간 선호도 데이터로부터 학습
  • Quality loss: 응답 품질 평가
  • Generation loss: 생성 능력 향상
• 효과: 초기 단계에서 안정적인 정책 학습

Stage 2: Online RL (Group Sequence Policy Optimization)

• 목적: 정밀한 정렬 수행
• 방법: GSPO (Group Sequence Policy Optimization) 알고리즘
• 핵심 메커니즘:
  • 여러 후보 응답 생성
  • 각 후보의 정규화된 advantage 계산
  • Advantage 기반 정책 정제
• 효과: 모델이 생성한 응답을 직접 활용하여 정책 개선

세부사항

• Coarse-to-fine 전략: coarse 정렬 → 정밀한 정렬
• 학습 안정성: Offline RL로 초기 안정성 확보 후 Online RL 적용
• Advantage 정규화: 여러 후보 간 비교를 통한 안정적 학습
• 성능 향상: MMMU, MathVista 같은 추론 작업에서 최대 +16.0% 성능 향상

2.2. Visual Resolution Router (ViR)

Visual Resolution Router (ViR)는 성능 저하 없이 동적으로 시각 토큰 해상도를 조정한다. 각 이미지 패치를 평가하여 압축률을 결정하며, 입력 이미지의 복잡도에 따라 적절한 해상도를 선택한다.

핵심 아이디어

• 이미지의 모든 영역이 동일한 해상도를 필요로 하지 않음
• semantic하게 중요한 영역(텍스트, 객체)은 높은 해상도 유지
• 덜 중요한 영역(배경)은 낮은 해상도로 압축

세부사항

• Patch 평가: 각 이미지 patch의 중요도 평가
• 동적 압축: 중요도에 따라 압축률 결정
  • 덜 중요한 patch는 최대 64 token까지 압축
  • 중요한 patch는 최대 256 token까지 보존
• 성능 보존: 압축 과정에서 중요한 정보 손실 최소화

ViR는 문서 및 OCR 작업에서 token 수를 약 50% 감소시키면서도 측정 가능한 성능 저하 없이 처리할 수 있게 해준다. 이는 계산 비용을 대폭 감소시킨다. 특히 문서 처리에서 효과적이며, 텍스트 영역은 고해상도로 보존하고 배경은 저해상도로 압축하여 효율성과 성능을 동시에 확보한다.

2.3. Decoupled Vision-Language Deployment (DvD)

Decoupled Vision-Language Deployment (DvD)는 Vision encoder와 LLM을 서로 다른 GPU에 분리 배치하여 계산 부하를 균형있게 분산시킨다. 이는 메모리 제약이 있는 환경에서도 대규모 모델을 효율적으로 배포할 수 있게 해준다.

핵심 아이디어

• Vision encoder와 LLM의 계산 부하가 다름
• 단일 GPU에 모두 배치하면 메모리 부족 또는 비효율적 리소스 사용
• 서로 다른 GPU에 분리 배치하여 부하 균형

세부사항

• Vision Encoder 배치: 별도 GPU에 배치
  • 이미지 인코딩 작업 수행
  • 시각 토큰 생성
• LLM 배치: 다른 GPU에 배치
  • 시각 token과 텍스트를 함께 처리
  • 최종 응답 생성
• 통신 최적화: GPU 간 데이터 전송 최소화

DvD는 추론 속도를 최대 4배 향상시키고 throughput을 2배 증가시킨다. 메모리 제약 환경에서도 대규모 모델을 배포할 수 있게 해주며, Vision encoder와 LLM의 계산 부하를 균형있게 분산시켜 리소스 활용 효율성을 향상시킨다.

3. Experimental Results

InternVL3.5는 추론 성능과 효율성 모두에서 큰 향상을 보였다. Cascade RL을 통해 MMMU, MathVista 같은 추론 벤치마크에서 InternVL3 대비 최대 +16.0% 성능 향상을 달성했다. 이는 두 단계 학습 전략이 추론 능력을 크게 향상시킴을 보여준다.

 

ViR를 통해 token 수를 약 50% 감소시키면서도 성능 저하 없이 처리할 수 있었으며, 이는 문서나 OCR 작업에서 특히 효과적이었다. 덜 중요한 이미지 영역은 낮은 resolution으로 처리하고, 텍스트나 중요한 객체가 있는 영역은 높은 resolution으로 보존하여 효율성과 성능을 동시에 확보했다.

DvD를 통해 추론 속도가 4배 향상되었으며, throughput도 2배 증가했다. 이는 Vision encoder와 LLM을 다른 GPU에 분리 배치함으로써 계산 부하를 균형있게 분산시킨 결과다. 특히 메모리 제약이 있는 환경에서도 대규모 모델을 효율적으로 배포할 수 있게 해주었다.

 

GUI interaction 작업에서도 우수한 성능을 보였으며, open-source MLLM 중에서 SOTA 성능을 달성했다. 특히 InternVL3.5-241B-A28B는 일반 멀티모달, 추론, 텍스트, 에이전트 작업에서 오픈소스 MLLM 중 최고 성능을 보이며, GPT-5 같은 상용 모델과의 격차를 좁혔다.

4. Conclusion

InternVL3.5의 기술적 특이점은 효율성과 성능을 동시에 개선한 세 가지 핵심 기술에 있다. Cascade RL은 Offline RL과 Online RL의 두 단계 학습으로 안정적 수렴과 정밀한 정렬을 동시에 달성하며, MMMU, MathVista 같은 추론 작업에서 최대 +16.0% 성능 향상을 보였다. ViR는 이미지 patch별로 중요도를 평가하여 동적으로 token 수를 조정하며, 문서 및 OCR 작업에서 token 수를 약 50% 감소시키면서도 성능 저하 없이 처리한다. DvD는 Vision encoder와 LLM을 서로 다른 GPU에 분리 배치하여 추론 속도를 최대 4.05배 향상시키고 throughput을 2배 증가시켰다.

 

특히 DvD는 단일 GPU의 메모리 제약을 극복하는 새로운 배포 전략이며, ViR는 모든 이미지를 동일한 resolution으로 처리하는 기존 방식의 비효율성을 해결하는 동적 해상도 조정 메커니즘이다.