[간단 설명] Object Detection 기초 : RCNN, SPPNet, Fast RCNN, Faster RCNN, YOLO | 딥러닝 기반 객체 검출 기초

1. RCNN

1. Selective search 알고리즘으로 이미지에서 객체가 있을 것 같은 위치에 box 2k개 추출
2. Non-maximum Suppression 으로 가장 스코어가 높은 box만 남김(box가 겹칠 때 IoU >0.5 이면 적용)
3. 모든 box를 227x227 로 resize (비율 고려 x)
4. Pre-train 된 네트워크에 box 이미지를 통과시켜 고정된 크기의 feature 추출
5. SVM classifier 학습 & Bounding box regression

단점

- Region proposal 로 추출한 수많은 개수의 영역을 모두 CNN에 통과시키기 때문에 상당히 오래 걸림

- 객체의 비율 고려하지 않고 모두 같은 크기로 resize 

 

 

 

2. SPPNet

RCNN의 단점인 고정된 입력 이미지 사이즈, 중복되는 CNN 계산을 개선한 네트워크

1. 전체 이미지를 pre-train한 네트워크에 주입
2. Selective search를 통해 찾은 크기와 비율이 다른 RoI에 Spatial Pyramid Pooling(SPP) 적용하여 고정된 사이즈의 feature 추출
3. FC layer 통과
4. SVM classifier 학습 & Bounding box regression

단점 

여전히 end-to-end 방식이 아닌 여러 단계가 필요 (e.g - fine-tuning, SVM training, Bounding Box Regression)

 

 

 

3. Fast RCNN

CNN fine tuning, boundnig box regression, classification을 모두 하나의 네트워크에서 학습시키는 end-to-end 프레임워크 제안

1. Pre-train된 네트워크에 이미지를 통과시켜 feature map 추출
2. Selective Search를 통해서 찾은 각각의 RoI에 대하여 RoI Pooling하여 고정된 사이즈의 feature 추출
3. 추출된 feature vector는 FC layer들을 통과한 뒤, softmax branch, bbox regressor branch로 나뉩니다. 
4. Softmax branch는 softmax를 통과시켜 객체의 class를 분류(SVM 사용 x), bbox regressor branch는 bounding box regression을 통해 selective search로 찾은 박스의 위치 조정 

단점

여전히 region proposal을 selective search로 수행(CPU 연산만 사용 가능)

 

 

 

4. Faster RCNN

기존 Fast RCNN 네트워크에 selective search를 Region Proposal Network (RPN) 으로 대체하여 GPU를 통한 RoI 계산을 가능하게 하는 방법입니다.

RPN 간략 설명

추출한 feature map에서 anchor box 안에 object 가 있는지에 예측하는 branch와 Bounding box 를 예측하기 위한 branch로 나뉘어 계산하고 얻어진 값들로 RoI를 계산합니다. 이 후 객체일 확률이 높은 K개의 anchor를 추려내고 non-maximum-supression으로 최종 RoI를 구합니다.

단점

전체 모델을 한번에 학습시키기 어려워서(초기에 RPN이 RoI를 계산하지 못하니까) 여러 단계에 걸쳐 모델을 번갈아 학습시키는 Alternating training 방법 사용

 

 

 

4.5. Mask RCNN

Instance Segmentation에 사용되는 method로 Faster R-CNN의 RPN에서 얻은 RoI(Region of Interest)에 대하여 객체의 class를 예측하는 classification branch, bbox regression을 수행하는 bbox regression branch와 평행으로 segmentation mask를 예측하는 mask branch를 추가한 구조. mask branch는 각각의 RoI에 작은 크기의 FCN(Fully Convolutional Network)가 추가된 형태입니다. segmentation task를 보다 효과적으로 수행하기 위해 논문에서는 객체의 spatial location을 보존하는 RoIAlign layer를 추가. 

 

 

 

5. YOLO

1 Stage Object Detection 제시

Region Proposal 과 Classification 을 한번에 수행. 최종 output feature map은 bounding box 위치와 크기, box 내부에 클래스가 있을 확률(신뢰도), 특정 클래스일 확률 값 들이 포함되어 있습니다.

 

 

*정리

RCNN → SPPNet → Fast RCNN → Faster RCNN → YOLO 순으로 object detection 연구가 진행되면서 아래와 같은 알고리즘들이 개선되었습니다.

 

• 고정된 입력 이미지 사이즈, 비율 → 임의의 사이즈, 비율의 box 로 classification 가능
• 중복되는 영역을 CNN으로 여러번 계산 → 전체 이미지는 한 번만 네트워크 통과
• end-to-end 방식이 아님 →  end-to-end 방식 
• Selective search(CPU만 사용) → RPN 사용(GPU)
• 느린 속도 → Region proposal & Classification 을 한 번에 수행하는 1 stage object detection 제안