[Object Detection] 객체 검출 모델 (2) : Fast RCNN, Faster RCNN

지난번에 살펴본 초기 객체 검출 모델들이 이미지에서 객체를 찾아내는 방법을 제시했다면, 다음 단계에서는 이 과정을 더 빠르고 효율적으로 만드는 것이 목표였죠. 이번 포스팅에서는 이러한 목표를 달성한 두 가지 혁신적인 모델인 Fast RCNN과 Faster RCNN에 대해 알아보려 해요.

 

Fast RCNN은 RCNN의 느린 속도를 개선해 객체 검출을 한층 빠르게 만들어 주었고, Faster RCNN은 이 과정을 GPU로 가속화해 실시간 처리에 한 발 더 다가섰어요. 두 모델이 어떻게 작동하고, 어떤 차이점이 있는지 자세히 살펴보면서 객체 검출 기술의 발전을 함께 따라가보세요! 😊

 

📌 객체 검출 모델 전체 포스팅

[Object Detection] 객체 검출 모델 (1) : RCNN, SPPNet

[Object Detection] 객체 검출 모델 (2) : Fast RCNN, Faster RCNN

[Object Detection] 객체 검출 모델 (3) : YOLOv1 ~ YOLOv4

[Object Detection] 객체 검출 모델 (4) : RetinaNet, EfficientDet

---

1. Fast RCNN

 

Fast RCNN은 RCNN과 SPPNet의 한계를 극복하기 위해 2015년 Ross Girshick에 의해 제안된 모델이에요. 이 모델은 객체 검출(Object Detection)을 더 빠르고 효율적으로 만들었어요. 기존의 RCNN에서 발생하던 중복 계산과 속도 문제를 해결해, 실질적인 성능 향상을 이뤄냈어요.

 

Fast RCNN 작동 방식

• 이미지 Feature Extraction
  • RCNN이나 SPPNet과 달리, Fast RCNN에서는 이미지를 CNN에 통과시켜 한 번에 feature map을 추출해요.
  • 이 과정은 기존 모델들이 각 Region Proposal마다 CNN을 반복 실행하던 방식보다 훨씬 효율적이에요.
• RoI Pooling
  • Fast RCNN은 Region of Interest (RoI)에 대해 고정된 크기의 feature를 추출하기 위해 RoI Pooling 레이어를 도입했어요.
  • RoI Pooling은 SPPNet의 Spatial Pyramid Pooling (SPP)과 유사한 개념이지만, 더 간단하게 고정된 크기의 feature를 얻을 수 있게 해줍니다.
  • 이 레이어는 추출된 feature map에서 각 RoI에 해당하는 부분을 잘라내고, 이를 고정된 크기로 조정해줘요.
• End-to-End 학습
  • Fast RCNN의 핵심 장점 중 하나는 모든 학습 과정이 end-to-end로 이루어진다는 거예요.
  • RoI Pooling을 거친 feature는 Fully Connected (FC) 레이어를 통과하며, 이후 두 개의 branch로 나뉩니다.
  • 하나는 Softmax를 사용해 객체의 클래스를 분류하고, 다른 하나는 Bounding Box Regressor로 박스의 위치를 조정해요.
  • Fast RCNN은 기존 모델들이 각각의 단계에서 별도의 학습이 필요했던 것과 달리, 하나의 네트워크로 통합된 학습이 가능합니다.

 

Fast RCNN의 단점

Fast RCNN은 RCNN과 SPPNet에 비해 큰 발전을 이뤘지만, 여전히 몇 가지 한계가 있어요:

• Selective Search의 병목: Fast RCNN은 여전히 Selective Search를 사용해 RoI를 생성해요. 이 과정은 CPU에서 수행되며, 연산 속도가 느리고 병목 현상을 초래할 수 있어요.
• 실시간 처리 한계: Selective Search로 인한 속도 문제 때문에, Fast RCNN은 완전한 실시간 객체 검출에는 적합하지 않아요.

 

2. Faster RCNN

 

Faster RCNN은 Fast RCNN의 병목 문제를 해결하기 위해 2015년 Shaoqing Ren과 그의 동료들에 의해 제안된 모델이에요. Faster RCNN은 객체 검출 기술에서 큰 도약을 이뤘으며, Region Proposal Network (RPN)이라는 새로운 개념을 도입해 연산 속도를 비약적으로 향상시켰어요.

 

 

Faster RCNN 작동 방식

• Feature Map Extraction
  • Faster RCNN의 첫 단계는 Fast RCNN과 동일하게 이미지를 CNN에 통과시켜 feature map을 추출하는 거예요.
• Region Proposal Network (RPN)
  • Faster RCNN의 가장 큰 혁신은 바로 RPN이에요. RPN은 Selective Search를 대체해, GPU에서 빠르게 RoI를 생성할 수 있게 해줘요.
  • RPN은 작은 크기의 CNN으로 구성되며, feature map에서 Anchor Box라는 일종의 후보 영역을 생성하고, 각 Anchor Box에 대해 객체가 포함될 확률과 Bounding Box 위치 조정을 예측해요.
  • 이 과정은 기존의 CPU 기반 Selective Search보다 훨씬 빠르게 수행돼요.
• RoI Pooling & Classification
  • RPN이 생성한 RoI는 RoI Pooling 레이어를 거쳐 고정된 크기의 feature로 변환돼요.
  • 이후, Fast RCNN과 동일하게 두 개의 branch로 나뉘어 Softmax를 통한 객체 분류와 Bounding Box Regression을 통한 위치 조정이 이루어집니다.
• End-to-End Training
  
  • RPN과 Fast RCNN 구조를 통합해 하나의 네트워크에서 학습이 진행됩니다. 이 방식은 학습 효율을 극대화하며, 더 정확한 객체 검출을 가능하게 해요.
  • Faster R-CNN은 RPN과 Fast R-CNN을 통합해 하나의 네트워크에서 학습이 진행됩니다.
  • 이는 네트워크 구조를 통합함으로써 End-to-End로 학습이 가능하게 만들어 전체적인 학습 과정을 단순화하고, 효율성을 높여 더 정확한 객체 검출을 가능하게 합니다.

 

Faster RCNN의 단점

Faster RCNN은 기존 모델들에 비해 많은 장점을 가지고 있지만, 여전히 몇 가지 단점이 있어요:

• 복잡한 학습 과정: End-to-end 학습이 가능하지만, 초기 학습 과정에서는 RPN과 Fast RCNN 부분을 교대로 학습시키는 Alternating Training이 필요해요. 이 과정은 복잡하고 시간이 많이 소요될 수 있어요.
• 실시간 처리 어려움: Faster RCNN은 기존 모델들보다 훨씬 빠르지만, 여전히 실시간 객체 검출에는 약간의 한계가 있어요. 특히, 높은 해상도의 이미지에서 성능이 떨어질 수 있습니다.

---

 

오늘은 Fast RCNN과 Faster RCNN이 어떻게 객체 검출의 속도와 효율성을 크게 개선했는지 알아봤어요. Fast RCNN은 CNN을 효율적으로 활용해 연산 속도를 대폭 높였고, Faster RCNN은 혁신적인 RPN(Region Proposal Network)을 도입해 실시간 객체 검출에 가까워지게 했어요.

 

이 두 모델은 객체 검출 기술이 연구실을 넘어 실제 애플리케이션으로 사용되기 위한 중요한 기틀을 마련했어요. 객체 검출 기술의 발전이 어떤 방향으로 흘러가고 있는지, 계속해서 함께 알아가 봐요! 😊