[논문 리뷰] BLIP: Bootstrapping Language-Image Pre-training for Unified Vision-Language Understanding and Generation

💡 BLIP

1. 연구 주제와 주요 기여

 

BLIP는 Vision-Language Pre-training(VLP)을 위한 새로운 프레임워크로, 이미지와 텍스트 간의 이해 기반 작업과 생성 기반 작업을 모두 효과적으로 수행할 수 있도록 설계되었어요.

기존 VLP 모델의 한계를 다음과 같이 개선했어요.

• 이해 기반(예: 이미지-텍스트 검색) 또는 생성 기반(예: 이미지 캡션 생성) 작업에 특화된 기존 모델의 단점을 보완.
• 웹에서 수집된 노이즈가 많은 데이터로부터 학습 성능을 극대화하기 위한 데이터 부트스트래핑 방법 제안.

BLIP는 SOTA 성능을 기록하며 다양한 Vision-Language 작업에서 우수한 결과를 보였어요.

 

2. 연구 배경 및 동향

Vision-Language Pre-training (VLP)

Vision-Language Pre-training(VLP)은 이미지와 텍스트를 함께 이해하고 활용하는 기술이에요. 우리가 흔히 보는 이미지-텍스트 검색, 이미지 설명 생성 같은 작업에 꼭 필요한 기술이죠. 그런데 기존 VLP 모델들은 대부분 웹에서 대규모로 수집한 이미지-텍스트 데이터를 학습했지만, 이 데이터가 노이즈가 많아서 문제였어요. 데이터 품질이 좋지 않으면 모델이 잘못 학습되거나 성능이 떨어질 수 있겠죠?

 

대표적인 기존 모델

• CLIP: 텍스트-이미지 검색에서 정말 뛰어난 성능을 보여줬지만, 텍스트를 만들어내는 작업에는 약했어요.
• ALBEF: 이미지 속 디테일을 더 잘 활용했지만, 여전히 데이터의 노이즈 문제를 해결하지 못했어요.
• SimVLM: 단순한 구조로 대규모 데이터를 잘 처리했지만, 한 가지 작업에만 특화된 느낌이었어요.

기존 모델의 한계
기존 모델들은 각각의 작업에는 강점이 있지만, 이해와 생성 작업을 동시에 잘해내지 못하는 문제가 있었어요.

• Encoder 기반 모델은 텍스트를 생성하기에는 적합하지 않아서 이미지 설명 같은 작업은 잘 못했어요.
• Encoder-Decoder 기반 모델은 이미지-텍스트 매칭 같은 이해 작업에서 성능이 떨어졌어요.

또한, 웹에서 가져온 데이터의 노이즈 문제를 제대로 해결하지 못했기 때문에, 모델이 데이터의 오류나 불완전함까지 학습해버리는 일이 많았어요. 그래서 더 정교한 데이터 전처리 방법과 이해와 생성을 동시에 잘하는 모델이 필요했어요.

 

3. 주요 제안 

 

BLIP은 노이즈가 많은 이미지-텍스트 쌍을 효과적으로 학습할 수 있는 통합 비전-언어 프리트레이닝(VLP) 프레임워크를 제안해요. 이 프레임워크는 새로운 모델 아키텍처인 Multimodal Mixture of Encoder-Decoder (MED)와 데이터 품질을 개선하는 Captioning and Filtering (CapFilt) 방법론으로 구성됩니다.

3.1. Multimodal Mixture of Encoder-Decoder (MED)

BLIP의 핵심 구조인 Multimodal Mixture of Encoder-Decoder(MED)는 이해와 생성 작업을 동시에 수행할 수 있도록 설계된 다목적 비전-언어 모델이에요. 이 아키텍처는 세 가지 모드로 구성되어 있으며, 각각 특정 작업의 요구사항을 충족하도록 설계되었답니다.

 

3.1.1. Unimodal Encoder

Unimodal Encoder는 이미지와 텍스트를 개별적으로 인코딩하여 각각의 표현 벡터를 생성해요. 텍스트 인코더는 BERT 아키텍처를 기반으로 하며, 입력 텍스트의 시작에 [CLS] 토큰을 추가해서 문장 전체를 요약하는 표현을 생성합니다. 이 모드는 이미지와 텍스트 각각의 독립적인 특징을 추출하는 데 적합해요.

 

3.1.2. Image-grounded Text Encoder

Image-grounded Text Encoder는 텍스트 인코더의 각 Transformer 블록에 크로스 어텐션(Cross-Attention) 계층을 추가해요. 이를 통해 이미지에서 얻은 정보를 텍스트 인코더에 통합하여 멀티모달 표현을 생성합니다. 이 모드는 이미지와 텍스트의 관계를 학습하는 데 중점을 두며, 이미지-텍스트 매칭과 같은 이해 기반 작업에서 활용돼요.

 

3.1.3. Image-grounded Text Decoder

Image-grounded Text Decoder는 이미지를 기반으로 텍스트를 생성하는 모드예요. 디코더는 Causal Self-Attention을 사용하여 입력된 이미지의 정보를 바탕으로 순차적으로 텍스트를 생성합니다. 텍스트 생성을 시작하는 [Decode] 토큰과 종료를 나타내는 End-of-Sequence 토큰을 포함하며, 이미지 캡션 생성이나 텍스트 생성 작업에 적합합니다.

 

Vision Transformer (ViT) 활용
BLIP는 이미지 인코딩을 위해 Vision Transformer(ViT)를 사용해요. ViT는 이미지를 작은 패치 단위로 분할하고, 각 패치를 벡터 형태로 임베딩하여 Transformer 구조에 입력합니다. 이를 통해 시각적 정보를 효율적으로 학습하고, 다양한 이미지 작업에 활용할 수 있도록 지원해요.

3.2. Pre-training Objectives

MED 아키텍처는 이해와 생성 작업을 동시에 학습할 수 있도록 세 가지 Loss 함수를 사용해 학습됩니다.

 

3.2.1. Image-Text Contrastive Loss (ITC)

ITC는 이미지와 텍스트 간의 feature space를 정렬하기 위한 Loss입니다. 동일한 이미지-텍스트 쌍은 가까운 임베딩 공간에 위치하도록 학습하며, 그렇지 않은 쌍은 멀어지도록 조정해요. 또한, 모멘텀 인코더와 소프트 라벨을 활용해 잠재적 양성 샘플까지 학습에 포함하여 일반화 성능을 높였어요.

 

예를 들어, "강아지가 공원에서 놀고 있는 사진"과 "강아지가 공원에서 놀고 있다"는 텍스트는 positive pair로 간주되며, 이 둘은 가까운 위치에 매핑돼요. 반면, 같은 사진과 "바다에서 서핑을 즐기는 사람"이라는 텍스트는 negative pair로 간주되고 멀어지도록 학습됩니다.

이 Loss는 모델이 이미지와 텍스트의 관계를 이해하도록 도와 텍스트-이미지 검색이나 Zero-shot 작업 같은 태스크에서 유용하게 활용돼요.

 

3.2.2. Image-Text Matching Loss (ITM)

ITM은 이미지와 텍스트가 실제로 매칭되는지를 이진 분류 방식으로 학습합니다. Hard Negative Mining 기법을 통해 유사하지만 매칭되지 않는 쌍을 구별하여 모델의 정교함을 높였어요. 이 학습 목표는 이미지-텍스트 쌍의 세부적인 정합성을 평가하고 개선하는 데 초점이 맞춰져 있어요.

 

예를 들어, "햇볕 아래 고양이가 낮잠을 자고 있는 사진"과 "고양이가 햇볕에서 자고 있다"는 텍스트는 positive pair로 학습됩니다. 반면, 비슷해 보이는 텍스트("햇볕 아래에서 강아지가 자고 있다")는 negative pair로 분류돼요.

이 Loss는 이미지-텍스트 매칭, 이미지 설명 생성, 비주얼 질문 응답(VQA) 같은 작업에서 모델이 세부적인 관계를 잘 이해하도록 학습하는 데 핵심적인 역할을 해요.

 

3.2.3. Language Modeling Loss (LM)

LM은 이미지를 기반으로 텍스트를 생성하는 방법을 학습합니다. Autoregressive 방식으로 텍스트를 생성하며, label smoothing을 적용해 모델의 일반화 능력을 강화했어요. 이를 통해 이미지 캡션 생성과 같은 작업에서 탁월한 성능을 보여줍니다.

 

예를 들어, "해변에서 사람이 서핑보드를 들고 있는 사진"이 주어졌다면, LM은 이를 기반으로 "한 사람이 해변에서 서핑보드를 들고 있다"와 같은 문장을 생성하도록 학습돼요. 이 Loss는 이미지 캡션 생성 작업에서 탁월한 성능을 보여주며, Zero-shot 생성 작업에서도 활용돼요.

 

학습 효율성 극대화

BLIP는 텍스트 인코더와 디코더가 Self-Attention 계층을 제외한 매개변수를 공유하도록 설계되었어요. 이 공유 구조는 모델의 학습 효율을 크게 높이고, 이해와 생성 작업을 동시에 학습하는 데 필요한 리소스를 최소화합니다. 이를 통해 멀티태스킹 학습의 효과를 극대화할 수 있었답니다.

 

3.3. Captioning and Filtering (CapFilt): 데이터 부트스트래핑

 

BLIP는 CapFilt라는 두 단계의 데이터 부트스트래핑 기법을 사용해 웹에서 수집한 노이즈 많은 이미지-텍스트 데이터를 정제하고 활용했어요.

 

3.3.1. Captioner

Captioner는 Image-grounded Text Decoder를 활용해 웹 이미지에서 합성 캡션(Synthetic Captions)을 생성해요. 생성된 캡션은 각 이미지에 하나씩 매칭되며, 데이터의 품질을 보강하는 데 기여합니다.

 

3.3.2. Filter

Filter는 Image-grounded Text Encoder를 사용하여 원본 웹 텍스트와 생성된 합성 캡션의 정합성을 평가합니다. ITM 헤드를 활용해 "비정합"으로 분류된 텍스트를 학습 데이터에서 제외하며, 데이터의 노이즈를 줄이고 학습 품질을 높였어요

 

3.4. 모델 학습

BLIP 논문을 읽다보면 생각보다 학습 과정이 복잡해요. 학습 중에 데이터 부트스트래핑을 한다는 것인지, 이미 학습된 네트워크로 부트스트래핑을 한다는 것인지 헷갈리죠...😥

 

논문을 보면 BLIP는 먼저 Text Encoder, Text Decoder가 포함된 MED를 대규모 노이즈가 포함된 웹 데이터셋으로 Pre-training합니다. 그 후, Pre-training이 완료된 MED 모델을 COCO와 같은 고품질의 소규모 데이터셋으로 Fine-tuning하여 Text Encoder와 Text Decoder를 더 정밀하게 학습시킵니다. 이렇게 Fine-tuning이 끝난 모델은 Text Encoder를 Filter로, Text Decoder를 Captioner로 사용하는 것입니다.

 

이제 Fine-tuning된 MED 모델을 활용해 데이터 부트스트래핑을 진행합니다. Captioner 역할을 하는 Text Decoder는 웹 이미지를 기반으로 새로운 합성 캡션을 생성하고, Filter 역할을 하는 Text Encoder는 기존의 웹 캡션과 새로 생성된 합성 캡션의 품질을 비교해 이미지와 더 잘 매칭되는 캡션을 선택합니다. 이 과정을 통해 기존의 노이즈가 많은 데이터 대신, 정제된 학습 데이터셋을 구축하게 됩니다.

마지막으로,부트스트래핑을 통해 새롭게 생성된 데이터셋을 사용하여 MED 모델을 다시 Pre-training합니다. 정제된 데이터셋을 기반으로 학습된 모델은 이전보다 더 높은 성능을 달성할 수 있습니다. Pre-training된 Text Encoder와 Text Decoder를 Captioner와 Filter로 활용해 새로운 학습 데이터셋을 생성하고, 이를 기반으로 모델을 다시 학습하는 방식은 다소 복잡하고 비효율적으로 보일 수 있지만, 노이즈가 많은 웹 데이터의 한계를 극복하고 점진적으로 데이터 품질과 모델 성능을 높이는 데 매우 효과적인 접근 방식이라고 볼 수 있습니다.

 

4. 실험 결과

 

BLIP는 다양한 작업에서 기존 모델을 뛰어넘는 성능을 보여줬어요. 먼저, 이미지-텍스트 검색 작업에서는 COCO 데이터셋 기준으로 ALBEF 대비 Recall@1에서 2.7% 향상된 결과를 기록했고, Zero-shot 설정에서도 뛰어난 일반화 성능을 보였어요. 이미지 캡션 생성에서는 COCO와 NoCaps 데이터셋에서 CIDEr 점수 129.7을 달성하며 기존 모델 대비 더 높은 성능을 보여줬습니다. VQA(Visual Question Answering) 작업에서도 BLIP는 기존 최고 모델인 SimVLM(1.8B 데이터를 학습한 모델)을 능가하는 성능을 달성했으며, SimVLM보다 훨씬 적은 데이터(129M)로 학습했음에도 뛰어난 결과를 냈어요. 마지막으로, Zero-shot 비디오 언어 작업에서도 비디오-텍스트 검색과 비디오 질문 응답에서 강력한 성능을 입증하며 다목적 비전-언어 모델로서의 가능성을 보여줬습니다.

 

5. 결론

BLIP는 이해와 생성 작업을 통합적으로 수행할 수 있는 Vision-Language Pre-training(VLP) 모델로, 기존 모델의 한계를 극복하며 다양한 작업에서 우수한 성능을 보여줬습니다. 특히, Multimodal Mixture of Encoder-Decoder(MED) 아키텍처와 Captioning and Filtering(CapFilt) 기법을 통해 데이터의 노이즈 문제를 해결하고 학습 효율성을 극대화했습니다. BLIP는 다목적성과 실용성을 강조하며 VLP 연구의 새로운 방향을 제시했지만, 다국어 지원과 데이터 품질 의존성 문제는 향후 연구에서 해결해야 할 과제로 남아 있습니다. 이를 통해 BLIP는 비전-언어 연구와 응용의 발전에 중요한 기반을 제공했습니다.