[논문 리뷰] End-to-End Object Detection with Transformers | DETR 설명

오늘은 2020년에 Meta에서 공개한 DETR 모델(ECCV 2020)을 리뷰해 보고자 한다. 피 인용수가 9000회에 육박하며, 최근 공개되는 객체 검출 논문들을 보면 DETR 기반의 연구도 심심치 않게 볼 수 있다. Deformable DETR, Conditional DETR, Group DETR, Co-DETR, ...

---

DETR (DEtection TRansformer)

 

DETR은 트랜스포머와 이분 매칭(Bipartite-matching) 기반의 새로운 검출 방식을 도입하여 RPN, NMS와 같은 hand-crafted 한 엔지니어링이 필요없는 모델 구조라고 한다. 구조적으로 굉장히 간단하면서 다른 task에 대한 확장성도 좋고, 어텐션 메커니즘을 이용하기 때문에 큰 객체를 검출 능력이 Faster RCNN보다 더 좋다고 한다.

 

 

구조를 보면 굉장히 간단하다는 게 느껴진다. 입력 이미지를 CNN에 태운 후 Transformer 인코더-디코더에 넣고 나온 결과를 FFN을 통해 객체의 클래스와 bbox 위치를 추정하게 되는 구조이다. 이 때 hand crafted한 방법을 사용하지 않고 객체 검출 prediction과 GT 와의 loss를 계산하기 위해선 1대1 매칭을 해줘야 한다. 바로 이 때 사용되는 방법이 이분 매칭이다. 간단히 말해 중복되지 않는 최적의 매칭을 찾아주는 헝가리안 매칭 방법을 사용하는 것이라 볼 수 있다. 주로 드는 예시가 4명의 작업자가 4개의 작업을 해야 하는데 가장 효율적으로 작업을 수행하기 위해 작업자와 작업을 매칭해주는 문제이다. 

 

 

- 이미지를 Transformer 입력 형태로 변환

• CNN(논문에서는 ResNet)을 사용하여 특정 차원의 feature map을 얻음
• 1x1 Conv 사용하여 미리 설정한 토큰 임베딩 차원(d)으로 채널값을 축소
• 최종적으로 d*HW로 flatten하여 transformer의 입력으로 사용하는 시퀀스를 구성

 

- Positional Encoding 

• 2D sine positional encoding 사용

 

- Encoder-Decoder

• Self Attention을 통해 query slot간 상관 관계를 학습
• Object query는 정보를 담기 위한 slot이며, Encoder-decoder attention을 통해 이미지의 어느 부분을 중점적으로 봐야할지 학습

 

- FFN (Feed Forward Network)

• output에 대한 정규화 및 학습 보조
• 디코더 임베딩 값을 FFN에 넣어 특정 슬롯이 예측한 객체의 유무와 객체의 위치를 출력

 

 

실험 결과

 

• 실험 결과는 Faster RCNN와 비교하는데, 이는 Faster RCNN이 hand crafted 한 방법을 많이 사용하여 end-to-end 객체 검출기가 아니기 때문
• Faster RCNN 대비 구조가 굉장히 간단한 end-to-end 검출기이며 성능 또한 상승
• Attention 메커니즘을 사용하여 큰 물체에 대한 성능은 좋지만, FPN 과 같이 객체 스케일에 대한 고려가 없기에 작은 물체에 대한 성능은 떨어짐

 

 

결론

복잡하지 않은 End-to-end 객체 검출기를 제안했다는 점이 주요 contribution이지만, 학습 시간이 굉장히 길고 작은 물체를 잘 검출하지 못한다는 단점이 있는 연구이다. 이후 Deformable DETR 등 여러 연구를 통해 단점이 보완되었으며, 현시점 기준 COCO 데이터셋 객체 검출 SOTA도 DETR 기반의 모델인 만큼 의미가 있는 연구라 볼 수 있다.