RPN (Region Proposal Network) | 객체 검출에서 후보 영역을 생성하는 네트워크

RPN(Region Proposal Network)은 Faster R-CNN(Region-based Convolutional Neural Network) 모델에서 제안된 네트워크로, 객체 검출에서 후보 영역(proposal)을 생성하는 역할을 한다. Faster R-CNN은 물체의 위치를 찾는 RPN과 물체를 분류하고 정확한 위치를 예측하는 후속 네트워크로 구성된다.

RPN의 주요 특징 및 과정은 다음과 같다.

 

• 목적 : RPN의 주된 목적은 이미지에서 물체가 있을 가능성이 있는 위치를 찾아내어 후속 처리를 위한 후보 영역을 생성하는 것

 

Anchor Box 예시

• Anchor Boxes : RPN은 각 위치에서 여러 크기와 종횡비를 가지는 일련의 anchor boxes를 정의하고, 이 anchor boxes는 물체의 위치와 크기에 대한 가정을 나타 냄

이미지 전체에 anchor box가 뿌려진 상태

• Convolutional 슬라이딩 윈도우
  • 이미지를 통해 컨볼루션 연산을 수행하면서 각 위치에서 anchor boxes를 적용한다.
  • 이를 통해 RPN은 각 위치에서 물체가 있을 가능성이 있는지를 예측 함

thresholod 이상의 스코어를 가지는 anchor box만 남긴 상태

bbox regression 예시

• Classification & Regression
  • RPN은 두 가지 주요 출력을 생성하는데,
  • 첫 번째는 물체가 있을 확률을 나타내는 점수
  • 두 번째는 anchor box를 조정(bbox regression)하여 정확한 위치를 나타내는 회귀 값
  • 때문에 학습 시 classification loss와 regression loss를 합친 loss를 최소화하는 방향으로 학습을 진행함
    • classification loss : 물체의 존재 여부 평가
    • regression loss : anchor box의 조정 값을 정확하게 예측하도록
• IoU(Intersection over Union) 기반으로 후보 영역 선택 : RPN이 예측한 물체가 있을 확률을 기준으로 일정한 임계값을 넘는 후보 영역을 선택한다. 이 선택된 후보 영역은 객체의 가능성이 있는 위치를 나타냄.
• NMS(Non-Maximum Suppression) : 선택된 후보 영역에 대해 NMS를 사용하여 겹치는 영역을 제거하고 가장 가능성 있는 영역만을 남김.

RPN은 Faster R-CNN 전체 아키텍처에서 물체의 위치를 예측하고 후보 영역을 생성하는 역할을 수행한다. 이렇게 생성된 후보 영역은 후속 네트워크에 입력으로 제공되어 객체의 정확한 위치 및 클래스를 예측하게 된다. RPN의 도입으로 end-to-end로 학습 가능한 객체 검출 모델의 정확성이 크게 향상되었다.