[논문 리뷰] Visual Instruction Tuning | LLaVA Model

💡 LLaVA 

1. 연구 주제와 주요 기여

 

이 연구는 텍스트와 이미지를 함께 이해하고 처리할 수 있는 멀티모달 모델 LLaVA를 제안하고 있어요. 특히 Visual Instruction Tuning을 통해 멀티모달 작업에서 사용자의 지시를 따르고, 복잡한 이미지와 텍스트 기반 작업을 수행할 수 있도록 모델을 설계했어요. 기존의 이미지-텍스트 페어 데이터(예: COCO)를 활용한 학습에서 한 발 더 나아가, GPT-4를 활용해 이미지 설명 캡션을 바탕으로 질문과 답변 형식의 새로운 학습 데이터를 생성했답니다.

• 새로운 데이터셋 생성 방법: GPT-4를 활용해 기존 이미지-텍스트 페어를 멀티모달 지시-응답 데이터로 자동 변환하는 데이터 생성 파이프라인을 개발했어요. 이를 통해 다양한 멀티모달 작업에 활용 가능한 학습 데이터를 구축했답니다.
• 새로운 멀티모달 모델 제안: CLIP 기반의 비전 인코더와 Vicuna 기반의 언어 모델을 연결해 LLaVA 모델을 설계했어요. 이를 통해 이미지와 텍스트 간의 깊은 상호작용을 가능하게 했습니다.
• 멀티모달 작업에서 모델 성능을 평가하기 위한 새로운 벤치마크 LLaVA-Bench를 제공해요. 이를 통해 모델의 성능을 정량적으로 평가할 수 있었어요.

 

2. 연구 배경 및 동향

기존 멀티모달 연구는 주로 각각의 작업(예: 이미지 분류, 캡션 생성)을 별도의 모델로 해결하는 데 초점을 맞췄으며, 언어는 보조적인 역할(예: 이미지를 설명)로 사용되었어요. 하지만 최근 GPT-4와 같은 LLM이 등장하면서, 언어를 보편적 인터페이스로 활용해 다양한 작업을 단일 모델로 처리할 수 있는 가능성을 보여줬답니다.

• LLM 튜닝: ChatGPT와 LLaMA 같은 텍스트 기반 LLM에서 Instruction Tuning이 일반적인 작업 수행 능력을 크게 향상시키는 모습을 보여줬어요. 이는 LLM을 다양한 태스크에 적용할 수 있는 강력한 도구로 자리 잡게 했답니다.
• 멀티모달 모델 개발: 기존의 멀티모달 모델(예: BLIP-2, Flamingo, OpenFlamingo)은 멀티모달 작업에서 의미 있는 성과를 보였지만, 대부분 비전-언어 지시 데이터를 활용한 튜닝이 부족해서 작업 일반화 성능에 한계를 보였어요.
• LLaVA는 비전-언어 지시 데이터를 활용해 모델을 튜닝하고, 기존 멀티모달 모델보다 더 높은 작업 일반화를 목표로 했어요. 이는 단순히 이미지를 설명하거나 텍스트를 생성하는 수준을 넘어, 사용자의 지시를 수행하고 다양한 멀티모달 태스크를 처리할 수 있는 모델을 만들기 위한 접근이에요.

 

3.  주요 제안

3.1. 데이터 생성 

LLaVA는 멀티모달 모델을 학습시키기 위해 GPT-4와 ChatGPT를 활용해 Vision-Language Instruction-following 데이터를 생성했어요. 이 과정에서 기존의 이미지-텍스트 페어 데이터를 바탕으로 다양한 질문과 답변 형식의 학습 데이터를 자동 생성하는 방법론을 제시했답니다.

 

3.1.1. 학습 데이터 생성 방법

LLaVA는 멀티모달 학습을 위해 GPT-4를 활용해 기존 이미지-텍스트 페어 데이터를 바탕으로 대화형 데이터(Conversation), 상세 묘사(Detailed Description), 복잡한 추론(Complex Reasoning)이라는 세 가지 유형의 학습 데이터를 생성했어요. 각 유형은 서로 다른 수준의 텍스트-이미지 이해와 처리를 요구해요.

 

1) 대화형 데이터 (Conversation)
대화형 데이터는 사용자와 AI 간의 상호작용을 모방하여 질문과 답변의 형태로 구성되었어요. 예를 들어, 사용자가 이미지를 보면서 "이 사진 속에 있는 동물은 무엇인가요?"라고 묻는다면, 모델은 "사진 속에는 한 마리의 고양이가 있습니다."라는 응답을 생성하도록 학습합니다. 이 데이터는 AI가 사용자의 질문에 자연스럽게 응답할 수 있는 능력을 키우는 데 도움을 줘요.

• 질문: "이 이미지에서 사람이 무엇을 하고 있나요?"
• 답변: "사람들이 SUV에 짐을 싣고 있는 모습입니다."

 

2) 상세 묘사(Detailed Description)
상세 묘사는 이미지를 가능한 한 자세히 묘사하는 서술형 데이터로 구성되었어요. 모델이 이미지의 모든 시각적 요소를 인식하고 이를 텍스트로 설명하는 데 중점을 둡니다. 예를 들어, 단순히 "사람들이 SUV 옆에 서 있다"는 묘사에서 더 나아가, "검은색 SUV 옆에서 세 사람이 서로 이야기를 나누며 짐을 정리하고 있다"와 같은 구체적인 설명을 생성하도록 학습했어요.

• 예시 묘사: "사진에는 검은색 SUV가 있고, 세 명의 사람이 짐을 정리하고 있습니다. 차량 옆에는 커다란 여행 가방과 작은 핸드백이 놓여 있으며, 하늘은 맑은 상태입니다."

 

3) 복잡한 추론(Complex Reasoning)
복잡한 추론 데이터는 단순히 이미지를 묘사하는 데 그치지 않고, 이미지를 기반으로 한 논리적 사고와 이유를 요구하는 질문과 답변으로 구성되었어요. 이 데이터는 AI가 추론을 통해 응답을 생성하는 능력을 학습하는 데 사용됩니다. 예를 들어, "이 사람들이 여행을 떠날 준비를 하고 있는 이유는 무엇인가요?"라는 질문에 "짐을 SUV에 싣는 모습으로 보아, 가족 여행을 준비하는 것 같습니다."와 같은 응답을 생성할 수 있도록 훈련했어요.

• 질문: "이 사진에서 사람들이 어떤 감정을 느끼고 있을까요?"
• 답변: "사람들이 함께 대화를 나누며 웃고 있는 모습으로 보아, 긍정적이고 행복한 감정을 느끼고 있는 것 같습니다."

 

3.1.2. 왜 텍스트 데이터만을 사용했을까?

LLaVA는 텍스트 기반 캡션과 바운딩 박스 정보를 활용해 데이터를 생성했는데, 이를 선택한 이유는 텍스트 전용 모델의 구조적 제한과 비용 효율성 때문이에요. GPT-4와 ChatGPT는 텍스트 기반 모델로, 이미지 데이터를 직접 처리할 수 없어서 이미지를 텍스트로 변환한 데이터를 사용해야 했어요. 예를 들어, 이미지를 "A black SUV surrounded by luggage"와 같은 텍스트 캡션 형태로 표현하거나, "사람, 가방, 차량 등의 위치와 범위"를 숫자로 표시한 바운딩 박스 데이터를 제공했답니다.

 

또한, 이미지 데이터를 포함한 학습 데이터셋을 수작업으로 생성하는 것은 비용이 매우 크고 시간이 오래 걸려요. 반면, 기존 텍스트 기반 이미지 설명 데이터를 활용하면 대규모 데이터를 빠르고 저렴하게 증강할 수 있었죠. GPT-4는 텍스트 기반 입력만으로도 뛰어난 추론 능력을 발휘할 수 있기 때문에, 캡션이나 바운딩 박스 정보만으로도 논리적이고 상세한 질문-응답 데이터를 만들어낼 수 있었어요.

 

3.1.3. 저자가 강조한 포인트

이 논문에서는 텍스트 데이터를 기반으로 한 데이터 생성 방법론의 실용성과 효율성을 강조했어요. 이미지를 포함하지 않고도 기존의 텍스트 데이터를 활용해 다양한 멀티모달 학습 데이터를 생성할 수 있음을 보여줬죠. 특히, GPT-4의 강력한 언어 처리 및 추론 능력을 통해 단순 캡션만으로도 고품질의 질문-응답 데이터를 만들어냈어요.

 

또한, 텍스트만을 사용한 데이터 증강 방법은 데이터 다양성과 확장 가능성을 높이는 데 유리했어요. 다양한 캡션 데이터와 바운딩 박스 정보를 활용해 더 많은 유형의 질문-응답 데이터를 자동으로 생성할 수 있었죠. 마지막으로, 저자들은 텍스트 기반 학습의 실용성을 입증하면서도, 향후 텍스트와 이미지를 함께 활용하는 방식으로 발전할 가능성을 열어두었어요. 현재는 텍스트 중심으로 학습 데이터를 생성했지만, 더 복잡한 시각 정보 통합은 미래 연구 과제로 남아 있습니다.

 

3.2.  Model Architecture

 

LLaVA의 모델 아키텍처는 간단하면서도 강력하게 설계되어, 사전 학습된 LLM(Vicuna)과 비전 모델(CLIP ViT-L/14)을 효과적으로 연결해요. 이를 통해 이미지와 텍스트 간의 상호작용을 효율적으로 수행하며 멀티모달 작업에서 뛰어난 성능을 보여줬습니다. 주요 구성 요소는 다음과 같아요.

 

3.2.1. Vision Encoder (CLIP 기반)

Vision Encoder는 이미지를 이해하고 이를 시각적 특징으로 변환하는 역할을 해요. LLaVA에서는 사전 학습된 CLIP 모델의 ViT-L/14를 사용했어요. 이 모델은 입력 이미지 Xv​를 받아 시각적 특징 Zv​로 변환하며, 이 과정에서 이미지를 grid 형태의 비주얼 토큰으로 나타냅니다. Vision Encoder는 사전 학습된 상태로 frozen되어 있으며, 학습 과정에서 가중치가 업데이트되지 않아요. 이를 통해 이미지 처리 성능을 유지하면서 학습 효율성을 높였어요.

 

3.2.2. Projection Layer

Projection Layer는 CLIP에서 생성된 비주얼 특징 Zv​를 LLM(Vicuna)이 이해할 수 있는 언어 임베딩 공간으로 변환해요. 이 선형 레이어는 사전 학습된 이미지 특징을 언어 모델의 단어 임베딩 공간에 맞춰 매핑하는 역할을 하며, 다음 수식으로 표현됩니다.

 

Hv​=W∗Zv​

 

여기서 W는 학습 가능한 매개변수인 투영 행렬이고, Hv​는 언어 임베딩 공간에서 시각적 특징을 나타내는 비주얼 토큰이에요. Projection Layer는 경량 설계로 빠른 학습과 데이터 실험을 반복적으로 수행할 수 있는 장점을 제공했어요.

 

3.2.3. Language Decoder (Vicuna 기반)

LLaVA의 Language Decoder는 사전 학습된 Vicuna를 사용하며, GPT 계열의 언어 모델과 유사한 구조를 가지고 있어요. Vicuna는 강력한 인스트럭션 추론 성능을 통해 이미지에서 전달받은 시각적 정보를 바탕으로 자연스러운 텍스트 응답을 생성해요. Projection Layer에서 전달된 비주얼 토큰 Hv​와 텍스트 입력을 동일한 시퀀스로 결합하여 학습합니다. 예를 들어, "이미지 설명: "과 같은 텍스트와 Hv​를 결합해 질문에 대한 응답을 생성할 수 있어요.

 

이 모델은 언어 토큰과 비주얼 토큰을 동일한 시퀀스로 처리하면서, 멀티모달 정보의 통합을 효과적으로 수행해요. 이를 통해 텍스트 생성뿐 아니라, 질문-응답이나 복잡한 추론 작업에서도 뛰어난 성능을 발휘했어요.

 

3.3. 학습 과정 

LLaVA의 학습 과정은 Pre-training과 Fine-tuning의 두 단계로 구성되어 있어요. 이 접근법은 사전 학습된 Vision Encoder와 LLM을 효과적으로 활용하며, 학습 효율성을 극대화했답니다.

 

3.3.1. Pre-training

첫 번째 단계에서는 Vision Encoder와 LLM 간의 기본적인 호환성을 학습하기 위해, 필터링된 59만 개의 이미지-텍스트 페어(CC3M)를 사용했어요. 이 단계에서 Projection Layer만 학습되며, Vision Encoder와 LLM은 모두 frozen된 상태로 유지돼요.

 

이 과정에서 입력 이미지 Xv​를 시각적 특징 Zv​로 변환한 뒤, Projection Layer를 통해 언어 임베딩 공간으로 매핑했어요. 질문과 답변 데이터를 생성해 LLM이 이미지 정보를 언어적으로 이해할 수 있도록 학습했답니다. 예를 들어, 질문 "이 이미지에 무엇이 보이나요?"에 대해 캡션 "검은 SUV가 짐을 싣고 있는 모습"을 정답으로 사용했어요. 이 단계는 LLaVA가 이미지 정보를 언어 임베딩과 정렬시키는 데 초점을 맞췄어요.

 

3.3.2. Fine-tuning

Fine-tuning 단계에서는 GPT로 생성한 세 가지 유형의 학습 데이터(대화형 데이터, 상세 묘사, 복잡한 추론)로 구성된 멀티모달 데이터셋(158,000개)을 활용해 LLaVA를 정밀하게 학습했어요. Fine-tuning 과정에서는 Projection Layer와 LLM(Vicuna)의 가중치를 함께 업데이트하며, 모델이 시각적 정보와 텍스트를 긴밀히 통합할 수 있는 능력을 학습했답니다.

 

Fine-tuning 단계에서는 대화형 데이터, 상세 묘사 데이터, 복잡한 추론 데이터를 활용해 모델의 다양한 작업 수행 능력을 학습시켰어요. 대화형 데이터는 멀티턴 대화를 학습해 사용자 질문에 자연스럽게 응답하는 능력을 강화했고, 상세 묘사 데이터는 이미지의 시각적 세부 정보를 텍스트로 표현하도록 모델을 학습했어요. 또한, 복잡한 추론 데이터는 모델이 이미지의 맥락을 이해하고 심화된 논리적 질문에 답변할 수 있는 능력을 학습하도록 설계되었답니다.

 

이러한 Fine-tuning 전략은 LLaVA가 사용자 지시에 따라 자연스럽고 논리적인 응답을 생성할 수 있도록 설계된 중요한 학습 단계입니다.

 

4. 실험 결과

 

LLaVA는 다양한 평가에서 멀티모달 모델로서 뛰어난 성능을 입증했어요. COCO 데이터셋 기반 평가에서는 90개의 질문을 활용해 모델의 지시 수행 능력을 평가했으며, 세 가지 질문 유형 모두에서 GPT-4에 비해 85.1%의 상대 점수를 기록했어요. 이는 LLaVA가 다양한 유형의 질문에 대해 일관되게 높은 정확도를 보여줬다는 것을 의미합니다.

 

In-the-Wild 평가에서는 실내외 이미지, 밈, 스케치 등 다양한 도메인의 24개 이미지와 질문으로 모델을 테스트했어요. 이 평가에서 LLaVA는 BLIP-2 대비 29%, OpenFlamingo 대비 48% 더 높은 성능을 기록하며, 다양한 시각적 표현과 문맥에서도 강력한 적응력을 보여줬어요. 이러한 결과는 LLaVA가 기존 멀티모달 모델을 넘어서는 일반화 능력을 가지고 있음을 나타냅니다.

 

또한, Science QA 데이터셋에서는 멀티모달 과학 질문 응답에서 90.92%의 정확도를 달성하며 새로운 SOTA(State-of-the-Art) 성능(92.53%)에 근접했어요. 이는 LLaVA가 과학적 추론을 포함한 복잡한 문제 해결에서도 우수한 성과를 보여준다는 것을 입증했어요.

 

5. 결론

LLaVA는 텍스트와 이미지를 통합적으로 이해하며, 사용자의 지시에 따라 자연스러운 응답을 생성할 수 있는 새로운 차원의 멀티모달 AI 모델이에요. GPT-4를 활용한 데이터 생성과 효과적인 튜닝 전략을 통해 다양한 멀티모달 작업에서 높은 정확도와 유연성을 보여주며, 멀티모달 AI의 새로운 가능성을 열었어요.

 

LLaVA의 강점은 다양한 도메인과 작업에서 뛰어난 성능을 발휘한다는 점이에요. 특히, COCO 데이터셋과 In-the-Wild 평가, 그리고 Science QA 데이터셋에서 입증된 결과는 모델의 일반화 능력과 실용성을 잘 보여줍니다. 하지만 이미지의 고해상도 세부 정보 처리나 지식 범위와 같은 부분에서는 여전히 개선의 여지가 있어요. 이는 멀티모달 AI 모델이 앞으로 더 깊고 세밀한 정보를 다룰 수 있도록 발전할 가능성을 시사합니다.