[Object Detection] DETR 모델 완전 정복하기 !! | End-to-end 객체 검출 모델

 

객체 검출(Object Detection)은 컴퓨터 비전 분야에서 가장 중요한 문제 중 하나로, 이미지 내에서 객체의 위치와 종류를 식별하는 작업이에요. 오늘은 객체 검출 분야에서 한 획을 그은 DETR (Detection Transformer) 모델에 대해 살펴보려 해요.

 

어떤 것을 위주로 봐야할지 모르겠다면, 1) 트랜스포머 디코더, 2) 오브젝트 쿼리, 3) 헝가리안 매칭 을 위주로 보시면 돼요-!

 

Transformer 기본 구조와 역할 및 self-attention 에 대해서 알고 있는 상태에서 보시는게 좋아요.

또한 현재는 기본 DETR 모델보다는 DETR 기반의 조금 더 발전된 형태의 모델을 사용하니, 참고 부탁드려요.

---

1. 인트로

 

DETR은 Transformer 모델을 기반으로 한 최초의 객체 검출 모델이에요. 기존의 객체 검출 모델들과 달리, DETR은 앵커 박스를 사용하지 않으며, 이로 인해 모델 구조의 복잡성을 크게 줄일 수 있었어요. 또한, 딥러닝 모델의 학습 과정을 단순화하여 더 직관적인 방식으로 객체 검출을 수행할 수 있습니다.

 

전통적인 객체 검출 모델들은 일반적으로 앵커 박스(Anchor Box)를 기반으로 하여 수많은 후보 영역을 생성한 후, 이를 후처리 과정에서 필터링하는 방식으로 작동합니다. 하지만 이 방식은 앵커 박스의 수와 크기에 민감하며, NMS(Non-Maximum Suppression)과 같은 복잡한 후처리가 필요합니다.

 

반면 DETR은 이러한 복잡한 과정 없이 객체 검출을 End-to-end로 수행합니다.

 

End-to-end 검출의 비결: 헝가리안 매칭

DETR이 엔드 투 엔드로 객체 검출을 수행할 수 있는 비결은 바로 헝가리안 매칭 알고리즘을 활용한 loss 함수 설계에 있습니다. 헝가리안 매칭은 예측된 객체와 실제 객체 간의 최적 매칭을 찾아주는 알고리즘으로, DETR의 loss 계산에서 중요한 역할을 합니다.

 

헝가리안 매칭은 4번에서 조금 더 상세하게 살펴볼게요.

 

2. DETR 아키텍처 

DETR의 아키텍처는 크게 다음과 같은 세 부분으로 나눌 수 있어요.

백본(Backbone), Transformer Encoder-Decoder, 그리고 예측 헤드(Prediction Head)

 

2.1. 백본(Backbone)

• DETR의 백본은 일반적으로 ResNet과 같은 CNN 모델이 사용됨
• 일반적인 객체 검출 모델과 동일하게 CNN 백본은 이미지 feature를 추출
• 추출된 피처 맵은 이후 Transformer로 전달돼요.

 

2.2. Transformer Encoder-Decoder

• 인코더(Encoder)
  • Feaure를 인코딩하여 각 위치의 global context를 학습합니다.
  • 이 부분은 기존 트랜스포머 인코더와 동일한 역할을 수행해요
  • 추상적으론 CNN 백본으로 추출된 이미지 feature를 self-attention을 통해 global feature를 강화하는 과정이라 볼 수 있어요.
• 디코더(Decoder)
  • 디코더는 인코더 출력 feature와 고정된 수의 오브젝트 쿼리(object query)를 입력받아, 쿼리에 대해 예측된 객체의 정보를 생성하는 핵심 구성 요소에요! (오브젝트 쿼리는 아래에서 조금 더 상세하게 살펴볼게요!)
  • 디코더에서는 self-attention, cross-attention 두 가지 중요한 연산 과정이 있어요.
  • Self-Attention
    • 오브젝트 쿼리가 다른 쿼리들과 상호작용하여, 서로 간의 상관 관계를 학습하는 과정
  • Cross-Attention
    • 인코더 출력 feature를 참조하여, 각 오브젝트 쿼리가 이미지 특정 영역과 상호작용하는 연산 과정이에요
    • 이 과정에서 쿼리는 이미지 내에서 자신과 관련된 feature를 선택하고 해당 feature를 기반으로 객체의 위치와 클래스 정보를 예측하게 되는 것이죠

 

2.3. 예측 헤드(Prediction Head):

• 디코더의 출력을 받아 최종적으로 객체의 레이블과 바운딩 박스 좌표를 예측하는 연산을 수행해요
• 예측 헤드는 일반적으로 여러 개의 Feed-Forward Network(FFN)으로 구성되며, 각 레이어는 fc layer로 구성되어 있어요.
• Class Prediction Head
  • 각 오브젝트 쿼리로부터 예측된 객체의 클래스를 출력해요
  • (num query, batch, hidden_dim) 크기의 디코더 출력을 받아 (num query, batch, num of class) 크기의 텐서를 출력
• BBox Prediction Head
  • 각 오브젝트 쿼리에 대해 예측된 객체의 바운딩 박스 좌표를 출력해요
  • (num query, batch, hidden_dim) 크기의 디코더 출력을 받아 (num query, batch, 4) 크기의 텐서를 출력
  • bbox 좌표는 0~1 크기로 노멀라이즈된 [center_x, center_y, width, height] 형식의 bbox 좌표에요

 

3. 오브젝트 쿼리(Object Query)

• 디코더의 입력으로 사용되는 오브젝트 쿼리는 고정된 수의 학습 가능한 임베딩 벡터로, 각 쿼리는 예측할 객체의 정보를 표현해요.
• 오브젝트 쿼리는 모델이 각 객체를 독립적으로 탐지하도록 도와주며, 이 과정에서 모델은 각 쿼리에 대해 이미지 내의 특정 객체를 찾아내는 데 집중하게 됩니다.
• 간단하게 생각하면 오브젝트 쿼리는 학습 가능한 소규모 네트워크(임베딩 벡터)라고 생각할 수 있어요. 

*또한 DETR에서 오브젝트 쿼리는 슬롯(slot)으로 표현되는 데요. 이는 각 쿼리가 이미지 내의 객체를 탐지하기 위해 예약된 특정 위치 또는 용도를 가진다는 의미에요. 

 

 

4. 헝가리안 매칭 알고리즘과 매칭 코스트

헝가리안 매칭의 역할

DETR에서는 디코더(Decoder)가 고정된 수의 객체 쿼리(Object Query)를 사용하여 여러 개의 바운딩 박스와 객체 클래스를 예측합니다. 그러나 예측된 바운딩 박스의 수는 항상 실제 객체의 수와 일치하지 않으며, 순서 또한 뒤섞여 있을 수 있습니다. 이때, 헝가리안 매칭 알고리즘을 사용해 예측된 박스와 실제 박스 간의 최적 매칭을 찾아냅니다.

 

헝가리안 매칭이 결정된 후, DETR은 매칭된 예측 값과 실제 값 사이의 loss를 계산하여 모델을 업데이트해요!

 

오브젝트 쿼리는 고정된 수의 임베딩 벡터이자 슬롯이라고 말씀드렸죠? 그래서 오브젝트 쿼리가 100개 라면 실제 이미지에 검출할 오브젝트가 5개이더라도 예측값은 100개나 되는 상황이 되죠. 그런데 객체 검출 모델을 학습하려면 어떤 예측값이 어떤 정답을 예측 하려고 했는지 매칭이 되어야 loss를 줘서 학습할 수 있겠죠? 그래서 이 때 헝거리안 매칭을 사용하는 거에요!

 

매칭 비용 (Matching Cost)

헝가리안 매칭에서 최적 매칭을 결정하기 위해서는 각 예측된 박스와 실제 박스 간의 매칭 코스트를 정의해야 하는데요. DETR에서 매칭 코스트는 다음과 같은 요소들로 구성됩니다.

 

1. Class matching cost

• 예측된 객체 클래스와 실제 객체 클래스 간의 차이를 평가
• 이 비용이 높을수록 클래스 예측을 더 중요하게 평가

2. BBox matching L1 cost

• 예측된 바운딩 박스와 실제 바운딩 박스 간의 차이를 L1 loss로 평가
• 이 비용이 높을수록 정확한 bbox 예측이 중요

3. GIoU matching cost

• 예측된 박스와 실제 박스 간의 겹침 정도를 평가
• 겹치는 부분이 많을수록 loss가 작아짐
• GIoU는 bbox 겹침 정도를 개선하여 더 정확한 박스 예측을 유도

 

헝가리안 매칭은 이러한 matching cost를 기반으로 예측된 각 객체가 실제 어떤 객체에 해당하는지를 결정하며, 이로 인해 최적의 매칭이 이루어지는 것이죠!

 

헝가리안 매칭이 가져온 DETR의 장점

헝가리안 매칭 알고리즘 덕분에 DETR은 다음과 같은 장점을 가져요.

• 후처리 불필요: NMS와 같은 복잡한 후처리 과정이 필요 없으며, 예측된 결과가 곧 최종 결과로 사용될 수 있습니다.
• 단순한 구조: 앵커 박스를 사용하지 않아 모델 구조가 간단해지고, 앵커 박스 설정에 따른 성능 변화에 대한 고민이 줄어듭니다.
• 일관된 학습 과정: 매칭 과정에서 모든 예측에 대해 일관되게 학습할 수 있으며, 이는 모델의 성능 안정성을 높이는 데 기여합니다.

 

5. 요약

1. DETR은 CNN 기반의 백본 네트워크를 통해 입력 이미지에서 피처 맵을 추출
2. Transformer Encoder-Decoder 구조를 사용해 피처 맵을 인코딩하고, 객체 쿼리를 통해 객체 예측을 수행
3. 예측된 바운딩 박스와 클래스에 대해 헝가리안 매칭을 사용하여 실제 값과 최적의 매칭을 찾음
4. Matching cost에 기반한 loss를 계산하고, 이 손실을 최소화하도록 모델을 학습시킴

---

 

DETR은 헝가리안 매칭 알고리즘을 도입해 End-to-end 객체 검출을 가능하게 만든 혁신적인 모델이에요. 이 모델은 객체 검출의 복잡성을 크게 줄이고, 더 직관적이고 효율적인 학습 과정을 제공합니다. 물론 DETR은 작은 객체를 잘 검출하지 못하는 심각한 단점이 존재하는데요. 지금은 이후 연구(Deformable DETR)에서 개선되었어요. 또한 지금도 객체 검출 도메인에서는 DETR 기반의 모델을 자주 사용하니, 객체 검출 프로젝트를 진행하셔야 한다면 DETR 모델을 공부하는 것은 필수! 라는 생각이 드네요 ㅎㅎ.