[Object Detection] 객체 검출 모델 (1) : RCNN, SPPNet

객체 검출(Object Detection)은 컴퓨터 비전 분야에서 가장 많이 사용되는 중요한 기술 중 하나예요. 이미지를 분석해 그 안에 어떤 객체가 있는지 알아내고, 그 위치까지 정확히 찾아내는 과정이죠. 이 기술은 자율주행차, 스마트 시티, 보안 시스템, 심지어는 우리의 스마트폰 카메라까지 다양한 곳에서 활용되고 있어요.

 

오늘은 객체 검출의 초기 단계에서 큰 역할을 했던 두 가지 모델인 RCNN과 SPPNet에 대해 알아보려고 해요. 이 모델들은 어떻게 동작하는지, 어떤 장단점을 가지고 있는지, 그리고 그 과정에서 사용되는 중요한 용어들은 무엇인지 하나씩 살펴볼 거예요. 객체 검출의 기본 개념을 이해하고, 기술이 어떻게 발전해왔는지 알고 싶다면 이번 포스팅이 큰 도움이 될 거예요! 😊

 

 

📌 객체 검출 모델 전체 포스팅

[Object Detection] 객체 검출 모델 (1) : RCNN, SPPNet

[Object Detection] 객체 검출 모델 (2) : Fast RCNN, Faster RCNN

[Object Detection] 객체 검출 모델 (3) : YOLOv1 ~ YOLOv4

[Object Detection] 객체 검출 모델 (4) : RetinaNet, EfficientDet

 

---

1. RCNN (Region-based Convolutional Neural Networks)

 

RCNN은 객체 검출(Object Detection) 분야에서 최초로 제안된 딥러닝 기반 모델 중 하나로, 2014년 Ross Girshick에 의해 소개되었어요. RCNN의 핵심 아이디어는 이미지를 작은 영역(Region)으로 나누고, 그 영역마다 객체가 존재할 가능성을 평가하는 거예요.

 

RCNN 작동 방식

• Selective Search
  • 먼저, 이미지에서 객체가 있을 법한 위치를 찾기 위해 Selective Search라는 알고리즘을 사용해요.
  • 이 알고리즘은 이미지의 색상, 질감, 크기 등의 정보를 바탕으로 유사한 영역을 묶어 후보 박스(Region Proposal)를 생성해요.
  • 이 과정에서 약 2,000개의 후보 박스가 만들어집니다.
• Feature Extraction
  • 각 후보 박스는 크기가 다르기 때문에, 고정된 크기(227x227)로 resize한 후, Pre-trained CNN을 통해 feature를 추출해요.
  • 여기서 Pre-trained라는 것은, 이미 학습된 CNN 모델을 사용하는 것을 의미해요.
  • 이 CNN은 보통 ImageNet 같은 대규모 데이터셋에서 미리 학습된 네트워크를 말합니다.
• Classification
  • 추출된 feature는 Support Vector Machine (SVM)을 사용해 객체의 클래스를 분류해요.
  • SVM은 주어진 데이터를 분류하는 알고리즘으로, 여기서는 후보 박스가 특정 클래스(예: 자동차, 사람, 고양이 등)에 속하는지를 결정하는 데 사용됩니다.
• Bounding Box Regression
  • 마지막으로, 후보 박스의 위치를 더 정확하게 조정하기 위해 Bounding Box Regression을 수행해요.
  • 이 단계에서는 박스가 객체를 정확히 포함하도록 위치와 크기를 미세 조정합니다.

 

RCNN의 단점

RCNN은 객체 검출에 있어 혁신적인 접근이었지만, 몇 가지 단점도 있었어요:

• 느린 속도: RCNN은 각 후보 박스를 CNN에 통과시키기 때문에 연산 속도가 매우 느립니다. 이미지 한 장을 처리하는 데 수 분이 걸릴 수 있어요.
• 객체 비율 왜곡: 모든 후보 박스를 동일한 크기로 resize하기 때문에, 원본 객체의 비율이 왜곡될 수 있어요. 이로 인해 정확도가 떨어질 수 있습니다.

 

2. SPPNet (Spatial Pyramid Pooling Network)

 

 

SPPNet은 RCNN의 단점을 보완하기 위해 제안된 모델이에요. 2014년 Kaiming He와 그의 동료들에 의해 개발된 SPPNet은 RCNN보다 더 빠르고 효율적인 객체 검출을 가능하게 했어요.

 

SPPNet 작동 방식

• 이미지 Feature Extraction
  • SPPNet에서는 먼저 이미지를 CNN에 입력해 전체 이미지에서 feature map을 추출해요. 여
  • 여기서 CNN을 단 한 번만 실행하기 때문에 RCNN에 비해 중복 계산이 없어요. 이로 인해 연산 속도가 크게 향상됩니다.
• Selective Search & RoI Extraction
  • RCNN과 마찬가지로 Selective Search를 통해 Region of Interest (RoI), 즉 관심 영역을 추출해요.
  • 하지만, RCNN과 달리 SPPNet에서는 RoI의 크기와 비율이 유지됩니다.
• Spatial Pyramid Pooling (SPP)
  • 각 RoI는 크기와 비율이 다르기 때문에, 이를 고정된 크기의 feature로 변환하기 위해 Spatial Pyramid Pooling (SPP)이라는 기술을 사용해요.
  • SPP는 여러 가지 크기의 윈도우를 사용해 feature map에서 다양한 스케일의 정보를 추출하고, 이를 고정된 크기의 벡터로 변환합니다.
  • 이 과정을 통해 RoI의 크기와 비율이 달라도 동일한 크기의 feature를 얻을 수 있어요.
• Classification & Bounding Box Regression
  • 마지막으로, 이 고정된 크기의 feature들은 FC layer를 거쳐 SVM으로 분류되고, Bounding Box Regression을 통해 박스의 위치도 조정됩니다.

 

SPPNet의 단점

SPPNet은 RCNN보다 빠르고 효율적이지만, 여전히 몇 가지 한계가 있어요:

• 여전히 End-to-End 방식이 아님: SPPNet도 여러 단계를 거쳐 학습이 진행되기 때문에, 모델 학습이 복잡하고 시간이 걸립니다.
• 실시간 처리 어려움: 전체 이미지에서 feature를 추출한 후에도 여전히 여러 단계의 처리 과정이 필요하므로, 실시간 객체 검출에는 적합하지 않아요.

 

주요 용어 설명

• Selective Search: 이미지에서 객체가 있을 가능성이 높은 후보 영역(Region Proposal)을 찾기 위한 알고리즘입니다. 이미지의 다양한 특징을 분석해 유사한 영역을 묶어냅니다.
• Pre-trained CNN: 이미 다른 대규모 데이터셋에서 학습된 CNN 모델을 의미해요. 객체 검출에서 feature를 추출할 때 사용됩니다.
• Feature Map: CNN을 통해 추출된 이미지의 특성 맵이에요. 입력 이미지의 시각적 특징들이 압축된 형태로 표현됩니다.
• SVM (Support Vector Machine): 데이터를 분류하는 데 사용되는 머신러닝 알고리즘입니다. RCNN과 SPPNet에서 추출된 feature를 바탕으로 객체의 클래스를 분류하는 데 사용돼요.
• Bounding Box Regression: 객체를 정확히 둘러싸는 박스를 더 정확하게 조정하는 기술입니다. 이 과정을 통해 검출된 객체의 위치와 크기가 더 정확해져요.
• Region of Interest (RoI): 이미지에서 관심 있는 영역을 말해요. 객체가 포함된 부분을 의미하며, RoI는 Selective Search 등으로 추출됩니다.

---

 

이렇게 RCNN과 SPPNet에 대해 상세히 알아봤어요. 이 두 모델은 객체 검출 기술의 초석을 다졌지만, 한계도 분명했어요. 다음 포스팅에서는 이러한 한계를 어떻게 극복했는지 살펴볼 거예요! 😊