[Object Detection] DETR 모델 이해하기! | End-to-end 객체 검출 모델

 

객체 검출(Object Detection)은 이미지나 영상에서 어떤 객체가 어디에 있는지를 식별하는 컴퓨터 비전의 핵심 과제 중 하나다. 최근까지도 객체 검출 모델은 R-CNN 계열이나 YOLO 계열처럼 복잡한 구조와 후처리 단계를 포함한 방식이 주를 이뤘지만, DETR(Detection Transformer)은 이 흐름에 큰 전환점을 만들어냈다.

DETR은 Transformer 구조를 기반으로 앵커 박스 없이, 후처리 없이, 객체 검출을 End-to-End로 학습하고 예측할 수 있도록 만든 모델이다.

---

1. DETR 핵심 아이디어

 

기존의 객체 검출 모델들은 수많은 앵커 박스를 기반으로 후보 바운딩 박스를 만들고, 그 중에서 높은 확률을 가진 것만 남기는 후처리 과정(NMS)이 필요하다. 이러한 과정은 복잡할 뿐 아니라, 하이퍼파라미터 튜닝이 까다롭다는 단점이 있다.

 

DETR은 이 모든 걸 없앴다. 딥러닝 모델이 처음부터 끝까지 직접 객체를 예측하고, 어떤 예측이 어떤 실제 객체에 대응하는지를 스스로 학습하도록 설계된 구조다. 이를 가능하게 만든 핵심 아이디어는 다음 세 가지다.

 

• Object Query: 모델이 예측할 객체의 수만큼 고정된 쿼리를 사용하는 방식
• Transformer Decoder: 이미지의 글로벌 컨텍스트를 바탕으로 객체를 예측
• 헝가리안 매칭 알고리즘: 예측과 정답 간의 최적 매칭을 찾아주는 과정

 

2. DETR 아키텍처 

DETR은 크게 세 부분으로 구성된다.

백본(Backbone), Transformer Encoder-Decoder, 그리고 예측 헤드(Prediction Head)

2.1. 백본 (Backbone)

DETR에서 이미지로부터 기본적인 특징을 추출하는 역할은 ResNet과 같은 CNN 모델이 수행한다. 일반적으로 ResNet-50이나 ResNet-101과 같은 네트워크가 사용된다.

백본의 역할은 다음과 같다:

• 입력 이미지를 downsampling하면서 주요 시각적 특징(feature)을 추출한다.
• 이미지의 크기를 줄이면서도, 의미 있는 패턴(물체의 윤곽, 경계 등)을 벡터 형태로 표현한다.
• 마지막 convolution layer에서 추출된 feature map은 (예: [batch, C, H, W]) 형태로 표현되며, 이후 이 feature map은 transformer가 처리할 수 있도록 2차원 벡터 시퀀스로 평탄화된다.

추출된 feature map은 이후 flatten되어 Transformer Encoder에 전달된다. 여기서 각 위치의 feature vector는 포지셔널 인코딩이 추가된 후 입력으로 사용된다. 포지셔널 인코딩은 CNN의 위치 정보를 보완해주기 위해 반드시 필요하다.

 

2.2. Transformer Encoder-Decoder

DETR의 핵심은 Transformer 구조이다. Vision Transformer(ViT)와 달리, DETR은 CNN으로 feature를 먼저 추출하고, 그 위에 Transformer를 얹는 방식이다.

 

📌 Encoder

Transformer Encoder는 CNN에서 추출한 feature를 입력으로 받아 global context을 학습한다.

• 입력은 CNN의 출력 feature map을 flatten한 후, 각 위치마다 포지셔널 인코딩을 더한 것이다.
• 이후 여러 층의 self-attention과 feed-forward network를 통해 각 위치의 feature가 서로 어떤 연관성이 있는지를 학습한다.
• 이 과정을 통해 같은 객체의 일부일 수 있는 feature들 간의 연결성을 강화할 수 있다.
• 기존 NLP Transformer 구조와 거의 동일하며, feature 간 상호작용에 중점을 둔다.

 

📌 Decoder

Decoder는 DETR에서 가장 핵심적인 부분 중 하나로 다음과 같은 특징을 가진다.

• 입력
  • Object Queries: 고정된 개수의 학습 가능한 쿼리 벡터 (예: 100개)
  • Encoder Output: 이미지 feature의 전역 표현

• 두 단계의 Attention 연산
  • Self-Attention: 각 object query들 간의 관계를 학습한다. 예를 들어, 같은 이미지 안에 두 객체가 겹치지 않도록 상호작용하는 방식이다.
  • Cross-Attention: 쿼리 벡터가 Encoder의 출력(feature map)을 참조하며, 이미지 내 자신이 담당할 객체가 어디에 있는지를 탐색한다.

결과적으로, 각 object query는 이미지의 전역 정보를 바탕으로 하나의 객체를 예측하는 임베딩으로 작동하게 된다.

 

2.3. 예측 헤드 (Prediction Head)

Transformer Decoder의 출력은 (num_queries, hidden_dim) 형태의 임베딩 벡터들이다. 각 벡터는 하나의 객체를 예측하기 위한 정보를 담고 있다. 이 출력은 두 개의 Feed Forward Network(FFN)에 전달되어 최종 예측이 이루어진다.

• Class Prediction Head
  • 각 쿼리에서 예측된 객체의 클래스 정보를 출력한다.
  • 출력 형태는 (num_queries, num_classes + 1)로, +1은 "no object" 클래스를 의미한다.
  • CrossEntropy Loss로 학습된다.
• BBox Prediction Head
  • 각 쿼리에 대해 객체의 바운딩 박스를 예측한다.
  • 출력은 [center_x, center_y, width, height]의 형식이며, 모두 0~1 사이의 값으로 정규화되어 있다.
  • 이 예측값은 실제 정답 바운딩 박스와 비교하여 L1 Loss, GIoU Loss를 기반으로 학습된다.

이러한 예측 헤드는 매우 단순하며, fully connected layer 두세 개 정도로 구성된 FFN이다. 이처럼 구조가 단순한 이유는 대부분의 학습이 Transformer 내부에서 이뤄지고, 최종 출력은 해당 정보를 추출만 하면 되기 때문이다.

 

3. 오브젝트 쿼리(Object Query)

Object Query는 DETR만의 독특한 구성 요소다.

• 각 쿼리는 하나의 객체를 예측하기 위한 학습 가능한 벡터다.
• 쿼리는 Transformer 디코더에 입력되며, 이미지의 feature들과 상호작용하며 관련된 객체 정보를 뽑아낸다.

즉, Object Query는 “이 쿼리는 이미지 속의 어떤 객체를 예측해줘”라는 요청 역할을 수행하는 셈이다. 이 개수는 고정되어 있고, 학습을 통해 쿼리마다 특정 유형의 객체를 탐지하도록 자연스럽게 분화된다.

 

4. 헝가리안 매칭 알고리즘과 매칭 코스트

DETR에서 가장 큰 특징 중 하나는 객체 검출 과정을 end-to-end 방식으로 학습할 수 있게 만든다는 점이다. 이를 가능하게 해주는 핵심 요소가 바로 헝가리안 매칭(Hungarian Matching)이다.

 

헝가리안 매칭의 역할

DETR에서는 디코더가 고정된 수의 오브젝트 쿼리(Object Queries)를 입력받아, 각 쿼리에 대해 객체의 클래스와 바운딩 박스를 예측한다. 예를 들어, 100개의 쿼리를 사용하는 경우라면 매 예측 시점마다 100개의 객체 후보가 생성된다. 하지만 실제 이미지에는 객체가 5개만 있을 수도 있고, 12개일 수도 있다. 즉, 예측 결과와 실제 정답의 수가 다르며, 순서도 전혀 일치하지 않는다. 이처럼 예측된 값과 실제 값의 수가 다르고 일대일 대응이 불분명한 상황에서, 각 예측값이 어떤 실제 객체를 예측하려 한 것인지 매칭해주는 과정이 필요하다.

 

이를 위해 DETR은 헝가리안 알고리즘을 사용한다. 헝가리안 알고리즘은 예측값과 정답 간의 매칭 비용(Matching Cost)을 최소화하는 방식으로, 가장 효율적인 1:1 매칭을 찾아주는 최적화 알고리즘이다.

 

왜 매칭이 필요한가?

고정된 수의 오브젝트 쿼리는 모델이 항상 일정한 개수의 객체를 예측하도록 강제한다. 하지만 실제 정답은 유동적이기 때문에, 학습 시에 "어떤 예측값이 어떤 정답과 대응되는지"가 명확하지 않으면 Loss를 계산할 수 없다.

 

예를 들어, 100개의 예측 중 5개만 실제 객체와 관련이 있고, 나머지는 모두 "no object"인 경우가 많다. 이 때 헝가리안 매칭은 가장 적절한 예측값 5개를 선택해 실제 객체와 매칭시켜준다. 나머지 95개는 "배경"으로 분류되어 별도의 Loss로 처리된다.

 

매칭 비용 (Matching Cost)의 구성

헝가리안 알고리즘이 매칭을 수행하기 위해서는, 예측값과 정답 사이의 "비용(Cost)"을 정의해야 한다. 이 비용은 단순한 거리뿐 아니라 예측된 객체 정보의 정확도 전반을 반영한다. DETR에서는 다음과 같은 세 가지 요소가 매칭 비용을 구성한다:

1. Class Matching Cost
   예측된 클래스와 실제 클래스 간의 차이를 반영한다. 일반적으로 Cross Entropy 또는 negative log-likelihood 방식으로 계산된다.
2. BBox Matching L1 Cost
   예측된 바운딩 박스 좌표와 실제 바운딩 박스 좌표 간의 L1 거리 차이를 계산한다.
   위치 정보의 정확도를 반영하며, 중심 좌표와 크기 모두 고려된다.
3. GIoU Matching Cost (Generalized IoU)
   바운딩 박스 간의 겹침 정도를 평가한다. GIoU는 단순 IoU보다 더 정교한 척도로, 두 박스가 겹치지 않더라도 얼마나 멀리 떨어져 있는지를 고려하여 더 나은 gradient를 제공한다.

이 세 가지 비용을 가중 합산하여 최종 매칭 코스트를 계산하고, 헝가리안 알고리즘은 이 코스트를 최소화하는 최적의 예측-정답 쌍 조합을 찾아낸다.

 

헝가리안 매칭의 장점

• 후처리 필요 없음: 전통적인 객체 검출 모델과 달리, NMS(Non-Maximum Suppression) 같은 후처리 과정이 필요 없다.
• 단순한 구조: 앵커 박스가 필요 없기 때문에 모델 구조가 훨씬 간결해진다.
• 일관된 학습 가능: 각 예측에 대해 정답과의 매칭이 명확히 정의되므로, 학습 과정이 안정적이고 일관된다.
• 다대다 예측에서 1:1 매칭으로: 고정된 수의 쿼리에서 다수의 예측을 하되, 실제 객체와는 정확한 1:1 대응을 찾기 때문에 불필요한 중복 예측이 줄어든다.

 

5. DETR의 장점과 한계

장점

• NMS 제거: 후처리 없이 바로 예측된 결과를 사용 가능
• 간결한 구조: 앵커 박스, 제안 영역 등이 사라져 구조가 단순해짐
• 학습 일관성: 쿼리 기반 예측으로 매칭과 학습이 직관적

단점

• 작은 객체 검출에 약함: Transformer 구조 특성상 로컬 디테일 정보 손실
• 학습 수렴 속도 느림: CNN 기반 모델에 비해 훈련에 더 많은 시간이 필요

이러한 단점을 개선한 Deformable DETR, DINO DETR, H-DETR 등 다양한 변형 모델이 이후에 제안되었다. 특히 Deformable DETR은 작은 객체 검출 성능과 학습 속도 문제를 크게 개선했다.

 

6. 요약

• DETR은 CNN 백본 + Transformer 구조를 통해 End-to-End 객체 검출을 실현한 최초의 모델이다.
• Object Query를 이용해 객체를 직접 예측하고, Hungarian Matching으로 정답과의 매칭을 자동으로 수행한다.
• 후처리 없이도 객체 검출이 가능하며, 구조가 단순해 모델 해석이 쉬워졌다.
• 이후 다양한 DETR 기반 모델들이 등장하면서 객체 검출 분야에 새로운 흐름을 만들었다.