vLLM을 활용한 Large-scale AI 모델 가속화 | LLM Acceleration

실험 코드와 상세 결과는 링크를 참고 - https://github.com/ldj7672/Vision-AI-Tutorials/tree/main/inference_acceleration

Vision-AI-Tutorials/inference_acceleration at main · ldj7672/Vision-AI-Tutorials

 

1. 개요

Large-scale AI 모델은 수십억 파라미터 규모의 Transformer 기반 구조를 공통적으로 사용하며, 추론 과정에서 attention 연산과 KV cache 관리가 주요 병목으로 작용한다. 특히 요청 수가 증가하거나 컨텍스트 길이가 길어질수록 GPU 메모리 사용량과 추론 지연(latency)이 급격히 증가한다.

 

vLLM은 이러한 대규모 모델 추론 병목을 해결하기 위해 설계된 고성능 인퍼런스 엔진으로, PagedAttention, continuous batching, CUDA Graph 등 다양한 시스템 수준 최적화를 통해 추론 효율을 크게 개선한다. 본 글에서는 vLLM을 활용해 Large-scale AI 모델의 추론을 가속화한 실험을 정리하고, 어떤 설정과 메커니즘이 실제 성능 향상에 기여하는지를 기술적으로 분석한다.

 

실험은 Vision-Language Model(VLM)인 Qwen2-VL-7B-Instruct를 대상으로 수행하였으며, Hugging Face Transformers 기반 추론과 vLLM 기반 추론을 비교한다. 다만 본 실험에서 관찰된 가속화 특성과 인사이트는 일반적인 대규모 LLM 및 멀티모달 모델에도 동일하게 적용 가능하다.

 

 

2. vLLM을 활용한 Large-scale Model 가속화

2.1 PagedAttention과 KV Cache 관리

vLLM의 가장 핵심적인 차별점은 PagedAttention 기반의 KV cache 관리 방식이다. 기존 Transformers 추론 엔진은 요청 단위로 연속적인 메모리 공간에 KV cache를 할당한다. 이 방식은 구현은 단순하지만, 요청 수가 증가하거나 시퀀스 길이가 달라질 경우 GPU 메모리 단편화가 빠르게 발생한다.

 

vLLM은 KV cache를 page 단위로 분할하여 관리한다. 각 토큰의 KV는 연속된 대형 버퍼가 아닌, 여러 페이지에 분산 저장되며 논리적으로만 연결된다. 이를 통해 다음과 같은 구조적 이점을 얻는다.

• GPU 메모리 단편화 감소 및 메모리 활용률 증가
• 요청 간 KV cache의 유연한 할당 및 회수
• 서로 다른 길이의 시퀀스에서도 안정적인 메모리 사용

이 구조는 단순히 메모리를 절약하는 수준을 넘어, 동시 다중 요청 환경에서 추론 성능을 유지하는 핵심 요소로 작용한다. 특히 멀티모달 모델처럼 입력 토큰 수가 가변적이거나 급격히 증가하는 경우, PagedAttention 기반 KV cache 관리의 효과는 더욱 두드러진다.

 

2.2 Continuous Batching

기존 LLM/VLM 추론 파이프라인은 static batching를 전제로 설계된 경우가 많다. 이 경우, 배치가 끝날 때까지 새로운 요청은 대기 상태로 남게 되며 GPU 유휴 시간이 발생한다.

 

vLLM은 continuous batching 방식을 사용한다. 실행 중인 배치가 종료되기를 기다리지 않고, 새로운 요청이 들어오면 즉시 기존 배치에 합류시킨다. 이를 통해 다음과 같은 효과를 얻는다.

• 요청 대기 시간(latency) 감소
• GPU 사용률 극대화
• 요청 길이가 서로 달라도 효율적인 병렬 처리 가능

이 방식은 대규모 모델 추론에서 특히 중요하다. 모델이 클수록 단일 추론 비용이 크기 때문에, GPU가 잠시라도 놀게 되는 시간이 전체 시스템 처리량에 큰 영향을 미친다. vLLM의 continuous batching은 이러한 비효율을 구조적으로 제거한다.

 

2.3 CUDA Graph

대규모 Transformer 모델 추론에서는 동일한 연산 패턴이 반복적으로 실행된다. 이때 발생하는 CPU-GPU 간 커널 런치 오버헤드는 무시하기 어려운 비용이 된다.

 

vLLM은 CUDA Graph를 활용해 추론 과정에서 반복되는 CUDA 연산을 그래프 형태로 캡처한 뒤 재사용한다. 이를 통해 다음과 같은 최적화를 달성한다.

• 커널 런치 및 동기화 오버헤드 감소
• CPU 개입 최소화로 인한 지연 시간 감소
• 반복 추론 환경에서 안정적인 성능 유지

 

CUDA Graph는 단일 요청에서도 효과가 있지만, 특히 동일한 모델 설정으로 반복 추론이 이루어지는 서비스 환경에서 큰 성능 차이를 만든다. 본 실험에서도 CUDA Graph 비활성화 시 추론 시간이 유의미하게 증가했으며, vLLM 성능의 중요한 구성 요소임을 확인할 수 있다.

 

3. 실험 설정

3.1 실험 환경

• GPU: NVIDIA A100-SXM4-80GB
• CUDA: 12.8
• PyTorch: 2.9.0+cu128
• 모델: Qwen2-VL-7B-Instruct
• 측정 방식: 각 설정당 10회 추론 후 평균

3.2 비교 대상 및 실험 구성

실험은 총 5가지 설정으로 구성되며, 각 실험은 vLLM의 핵심 최적화 요소를 하나씩 제거하거나 변경하는 방식으로 설계되었다.

1) Transformers Baseline

• Hugging Face Transformers 기반 추론
• 일반적인 FP16 설정
• static batching 및 기본 KV cache 관리 방식 사용

vLLM을 사용하지 않았을 때의 기준 성능을 측정하기 위한 베이스라인이다.

2) vLLM + No Chunked Prefill

• vLLM 사용
• FP32 정밀도
• enable_chunked_prefill=False

Chunked Prefill이 비활성화된 상태에서 vLLM의 기본 가속 효과(PagedAttention, continuous batching, CUDA Graph)를 확인하기 위한 실험이다. 상대적으로 짧은 입력 시퀀스에서 Chunked Prefill의 영향도를 관찰한다.

3) vLLM + No CUDA Graph

• vLLM 사용
• FP32 정밀도
• enforce_eager=True (CUDA Graph 비활성화)

CUDA Graph가 추론 성능에 미치는 영향을 분리해서 확인하기 위한 실험이다. 반복 호출 환경에서 커널 런치 오버헤드가 성능에 얼마나 영향을 주는지를 관찰한다.

 

4) vLLM Baseline (FP32)

• vLLM 기본 설정
• FP32 정밀도
• Chunked Prefill 및 CUDA Graph 모두 활성화

vLLM의 기본 구성만으로 얻을 수 있는 순수 가속 효과를 확인하기 위한 실험이다. 정확도를 최대한 유지하면서 얻을 수 있는 성능 상한선을 보여준다.

 

5) vLLM + BF16

• vLLM 기본 설정
• BF16 정밀도 (dtype="bfloat16")

연산 정밀도를 BF16으로 낮췄을 때의 성능 변화를 측정한다. A100 GPU의 BF16 하드웨어 가속을 활용한 최적 설정으로, 본 실험에서 가장 높은 처리량과 가장 낮은 추론 지연 시간을 기록했다.

 

4. 실험 결과 

vLLM 기본 설정만으로도 약 4.5배의 성능 향상이 나타났으며, BF16 적용 시 7배 이상의 가속을 달성했다.

• Transformers Baseline
  • Transformers는 메모리 사용량은 가장 적지만, KV cache 관리와 배치 처리 최적화가 부족해 추론 시간이 가장 길다. 단일 요청 기준에서도 오버헤드가 크다.
• vLLM Baseline
  • PagedAttention과 CUDA Graph만으로도 추론 시간이 대폭 감소한다. FP32 정밀도를 유지하면서도 4배 이상의 성능 향상을 보인다.
• vLLM + BF16
  • BF16 적용 시 연산 throughput이 크게 증가한다.
  • 정확도 저하가 거의 없이 추론 속도는 FP32 대비 약 39% 추가 개선되며, 전체적으로 Transformers 대비 7배 이상의 가속을 달성한다.

---

VLM 추론은 구조적으로 비용이 높지만, vLLM을 활용하면 단일 요청 기준에서도 큰 성능 개선을 얻을 수 있다. 특히 멀티모달 모델을 서비스 환경에 올릴 경우, vLLM은 선택이 아닌 필수에 가까운 인퍼런스 엔진이다. 본 실험이 VLM 서빙 및 가속화 전략을 설계하는 데 참고 자료가 되기를 바란다.