[객체 검출] 앵커 박스(Anchor Box)란 무엇인가? | 객체 검출 모델에서의 역할과 한계

오늘은 객체 검출을 공부하다 보면 자주 등장하는 앵커 박스(Anchor Box)에 대해 알아 보려고 해요. 객체 검출을 이해하기 위해서는 필수적인 개념이니 알아두면 좋겠죠!?

 

---

 

1. 앵커 박스란?

 

앵커 박스(Anchor Box)는 객체 검출(Object Detection) 모델에서 물체의 위치와 크기를 예측하기 위해 사용되는 고정된 사전 정의된 바운딩 박스에요. 다양한 크기와 비율의 앵커 박스를 이미지의 각 위치에 배치해, 각 박스 안에 객체가 포함될 가능성을 계산하는 방식으로 동작합니다.

 

2. 앵커 박스의 원리와 사용 방식

앵커 박스의 주요 목적은 이미지 내 다양한 크기와 비율의 객체를 효과적으로 검출하는 것인데요.

조금 더 상세하게 살펴보면, 우선 이미지 내에 모든 위치에서 다양한 크기와 비율로 앵커 박스를 생성해요. 그리고 모델은 각 앵커 박스에 대해 클래스 레이블과 bbox 박스 위치를 예측하게 돼요. 이 때 에측 bbox와 실제 객체 bbox가 얼마나 겹치는지 평가하기 위해 IoU 지표를 사용합니다. 

 

앵커 박스 활용 예시

1. 사전 정의된 앵커 박스 설정

• 먼저, 이미지의 각 위치에 대해 다양한 크기와 비율의 앵커 박스가 사전에 정의됨
• 예를 들어, 3개의 다른 크기와 3개의 다른 비율의 앵커 박스를 사용한다고 가정하면, 각 위치에서 9개의 앵커 박스가 설정돼요

 

2. 학습 과정: 실제 객체와 앵커 박스의 매칭

학습 중에는, 각 앵커 박스가 이미지 내의 실제 객체에 얼마나 잘 맞는지를 평가합니다. 

 

• 실제 객체: 이미지 내에 고양이(클래스: 고양이)가 있고, 이 고양이의 바운딩 박스 좌표가 (x_min: 50, y_min: 50, x_max: 150, y_max: 200)라고 가정
• 앵커 박스: 이미지의 한 위치에서 정의된 앵커 박스 중 하나가 (x_min: 40, y_min: 40, width: 100, height: 160)인 경우를 고려해 봐요.

단계 1: IoU(Intersection over Union) 계산

모델은 각 앵커 박스와 실제 객체의 바운딩 박스 간의 IoU를 계산해요. 

• 앵커 박스의 크기와 실제 객체의 크기가 유사하다면, IoU 값이 높게 나옵니다.
• 예를 들어, 이 경우 IoU 값이 0.8이라고 하면, 이 앵커 박스는 실제 객체에 매우 잘 맞는 것으로 평가됨

 

단계 2: 앵커 박스 할당

모델은 IoU 값이 가장 높은 앵커 박스를 해당 실제 객체에 할당해요. 이때, 앵커 박스는 해당 위치에서 고양이 클래스를 예측하도록 학습됩니다.

• 클래스 레이블 할당: 이 앵커 박스에 "고양이" 클래스를 할당합니다.
• 바운딩 박스 좌표 조정: 앵커 박스의 바운딩 박스 (x_min: 40, y_min: 40, width: 100, height: 160)을 실제 객체의 바운딩 박스 (x_min: 50, y_min: 50, width: 100, height: 150)로 조정하기 위한 학습을 진행해요. 이 과정에서 앵커 박스의 좌표가 얼마나 조정되어야 하는지 모델이 학습하게 됩니다.

 

3. 학습 손실(Loss) 계산

모델이 예측한 클래스와 바운딩 박스 좌표가 실제 값과 얼마나 차이가 나는지를 기준으로 손실(Loss)을 계산해요.

• Class Loss: 예측된 클래스가 실제 클래스(예: 고양이)와 얼마나 일치하는지 Cross-Entropy Loss로 계산
• BBox Loss: 예측된 바운딩 박스 좌표와 실제 바운딩 박스 좌표 간의 차이를 L1 손실(절대 오차) 또는 GIoU 손실로 계산

 

4. 모델 업데이트

손실이 계산되면, 모델의 가중치가 업데이트돼요. 이 과정을 반복하여 모델은 점점 더 정확하게 객체의 클래스와 바운딩 박스를 예측할 수 있게 됩니다.

 

3. 앵커 박스의 장단점

 

장점

• 다양한 객체 크기 처리: 다양한 크기와 비율의 앵커 박스를 사용하여, 작은 물체부터 큰 물체까지 폭넓게 검출할 수 있습니다.
• 다중 스케일 예측: 이미지의 여러 스케일에서 예측을 수행함으로써, 객체 검출의 정확도를 높일 수 있습니다.

단점

• 설정의 복잡성
  • 앵커 박스의 크기, 비율, 수를 설정하는 과정은 매우 복잡해요
  • 이 설정은 모델 성능에 큰 영향을 미치며, 최적의 값을 찾는 것은 어렵고 시간이 많이 소요됩니다.
• 연산 비용
  • 모든 위치에서 여러 개의 앵커 박스를 생성하고 처리하는 것은 계산적으로 매우 비효율적이에요.
  • 이로 인해 모델의 연산 비용과 메모리 사용량이 크게 증가할 수 있습니다.
• 후처리 필요성
  • 앵커 박스 기반 모델은 중복된 예측을 많이 생성해요.
  • 이를 처리하기 위해 NMS(Non-Maximum Suppression)과 같은 복잡한 후처리 과정이 필요해요.

 

4. 앵커 박스를 사용하는 대표적인 객체 검출 모델

• Faster R-CNN
  • Faster R-CNN은 앵커 박스를 도입한 대표적인 객체 검출 모델 중 하나이에요.
  • 이 모델은 CNN기반의 Region Proposal Network(RPN)을 사용하여, 앵커 박스를 통해 후보 영역을 제안하고 이를 바탕으로 객체를 검출해요.
• YOLO (You Only Look Once)
  • YOLO 모델은 한 번의 전방향 패스에서 객체를 검출하는 방식으로 동작하며, 이미지 내 그리드 셀마다 고정된 앵커 박스를 사용하여 객체의 위치와 크기를 예측해요.
  • YOLOv3와 같은 버전에서 앵커 박스 개념이 사용됩니다.
• RetinaNet
  • RetinaNet은 Focal Loss를 도입하여 작은 객체와 클래스 불균형 문제를 해결한 모델로, 앵커 박스를 사용하여 여러 크기의 물체를 검출해요.
  • 이 모델은 객체의 크기와 비율에 따라 다양한 앵커 박스를 활용하여 높은 검출 성능을 보여줍니다.

 

---

 

앵커 박스는 객체 검출 모델에서 매우 중요한 역할을 해요. 다양한 크기와 비율의 물체를 검출할 수 있도록 돕지만, 설정의 복잡성과 높은 연산 비용, 그리고 후처리 과정의 필요성 등 몇 가지 한계도 가지고 있습니다. 

 

여전히 많은 검출 모델들이 앵커 박스를 사용하지만, DETR 과 같은 end-to-end 객체 검출 모델은 앵커 박스나 복잡한 후처리 과정이 필요없는데요.

 

DETR 모델이 궁금하시다면 아래 포스팅을 참고해 주세요!!

 

[객체 검출] DETR 모델 완전 정복하기 !! | Object Detection | 객체 검출 트렌드 공부하기