[논문 리뷰] Deep Learning for Large-Scale Traffic-Sign Detection and Recognition / 교통 표지판 검출

본 포스팅에서는 Traffic sign detection (교통 표지판 감지) 에 대한 논문 2개를 소개합니다.

 

• Traffic-Sign Detection and Classification in the Wild / CVPR 2016 
• Deep Learning for Large-Scale Traffic-Sign Detection and Recognition / IEEE T-ITS 2019

 

Traffic sign detection 은 object detection의 하위 task로 볼 수 있고, 자율 주행 및 도로 정보를 생성하는데 필수적으로 사용됩니다. 굉장히 작은 객체를 감지하는 방법들이 궁금했었는데, traffic sign detection 논문들이 도움이 되는 것 같습니다.

 

 

---

"Traffic-Sign Detection and Classification in the Wild"

본 논문에서는 traffic sign detection benchmark 를 위한 새로운 dataset을 구축하고, 도로 표지판을 감지 및 분류하는 end-to-end 딥러닝 모델을 제안합니다. 

 

 

이 논문에서는 언급하는 traffic sign detection의 어려운 점은 크게 2가지로, 1) 도로 표지판이 매우 작은 경우 기존 detection 모델로 인식이 잘 안되고, 2) class와 표지판 사이즈의 imbalance 가 심하다는 점입니다.

 

그 외에도 눈, 비, 햇빛의 반사 등 기상의 영향과 OCR task 에서도 문제가 되는 perspective distortion 같은 문제도 수반합니다.

 

예를 들어 멀리서 부터 보이는 표지판은 아주 작게 보이고, 도심이 아닌 산이나 바다 근처에서만 볼 수 있는 표지판은 개수가 매우 작기 때문에 데이터의 불균형이 발생한다는 것입니다.

 

 

 

 

이 논문에서 제안하는 네트워크는 conv6 이후로 3개의 branch(bbox, pixel, label)을 가지는 평범해 보이는 fully convolutional network 입니다. 저자는 제안하는 네트워크가 작은 객체(표지판)을 잘 감지 및 분류한다고 주장하는데 실험적으로 증명하긴 하지만 정확한 근거를 제시하지는 않는 것 같습니다.

 

 

 

위의 Fast R-CNN 과의 실험 결과 비교를 보면 객체 사이즈가 작은 경우에는 Fast R-CNN의 경우 성능이 매우 안 좋지만, 제안하는 네트워크는 비교적 객체 사이즈에 무관하게 성능이 잘 나오는 것을 볼 수 있습니다.

 

---

"Deep Learning for Large-Scale Traffic-Sign Detection and Recognition"

 

본 논문에서는 traffic sign detection 및 recognition을 위해 mask R-CNN 구조를 활용하고 traffic sign detection 성능을 향상시키기 위한 몇 가지 방법을 제안합니다. 

 

앞서 설명했듯이 본 논문에서도 조명 조건, 스케일, 카메라 각도, blur, occlusion 등의 환경적인 영향에도 잘 동작하게 하는 것이 중요합니다. 본 논문에서는 작은 traffic sign에 대한 recall을 높히는 adaptation과 traffic sign 에 적합한 augmentation을 제안합니다. 

 

*용어 

TSD : Traffic Sign Detection

TSR : Traffic Sign Recognition

 

Mask R-CNN

Mask R-CNN은 Faster R-CNN의 확장 버전으로 볼 수 있고, 두 개의 모듈로 구성됩니다. 첫 번째 모듈은 RPN(Region Proposal Network)로 입력 이미지의 bounding box를 생성하는 CNN 구조입니다. 두 번째 모듈은 proposed region을 분류하는 region-based CNN 구조(Fast R-CNN)입니다. 전체 아키텍처는 RPN과 Fast R-CNN 모듈이 convolutional feature를 공유하는 단일 네트워크 구조입니다. 또한, attention 모듈과 FPN(Feature Pyramid Network) 이 적용되어 있고, backbone network는 ResNet입니다. (Faster R-CNN의 backbone은 VGG입니다.)

 

Adaptation to Traffic-Sign Detection

일반적인 객체의 감지 및 인식을 위해 개발된 Mask R-CNN을 TSD에 적용하기 위해 몇가지 영역별 개선점을 제안합니다.

 

1) Online Hard-Example Mining

Online Hard-Example Mining (OHEM) 을 classification learning module(Fast R-CNN module)에 통합합니다. 이는 ROI를 무작위로 선택하는 방법을 classification loss 값을 기반으로 선택하는 방법으로 대체하는 것입니다. Region들을 loss value를 기준으로 정렬하고 loss 가 충분히 높은 region만 classification module 로 전달합니다. 이 방법은 네트워크가 가장 많이 실수한 샘플, 즉 어려운 예제에 대한 학습을 보장합니다.

 

2) Distribution of Selected Training Samples

Mask R-CNN은 ROI를 무작위로 선택하고 전경과 배경에 따로 수행됩니다. 하지만, 이미지에 많은 크고 작은 객체들이 동시에 존재할 때 무작위 선택 방법을 사용하면 학습 프로세스가 불균형해집니다. 사이즈가 큰 객체에는 많은 ROI가 생기고, 작은 객체에는 적은 ROI가 생기기 때문에 이 분포를 기반으로 샘플을 선택하면 학습 프로세스가 왜곡됩니다. 사이즈가 큰 객체가 더 많이 관측되고 선호되기(네트워크 차원에서) 때문입니다. 

 

이러한 문제를 완화하기 위해 training sample 의 distribution을 변경하여 학습 객체의 모든 사이즈를 균일하게 포함하도록 변경합니다. 즉, 이미지에 있는 각 객체에 대해 동일한 수의 ROI를 선택하도록 합니다.

 

3) Sample Weighting

Mask R-CNN은 특정 경우에 누락된 region proposal 로 인해 100% recall을 달성할 수 없는데, training region의 weight를 다르게하여 이를 해결하려 합니다. 학습하는 동안 전경과 배경 영역이 모두 선택됩니다. 하지만 이미지의 대부분의 교통 표지판은 작고 해당 표지판에 대해 몇 개의 region proposal 만 존재하기 때문에 배경 부분이 많이 선택됩니다. 때문에 기존 학습 과정에서는 배경 객체를 더 자주 관찰하고 배경 학습에 집중하게 됩니다. 이는 배경 영역에 더 작은 weight를 줘서 전경 객체를 먼저 학습하도록 하여 개선합니다. 구체적으로는 배경 영역에 RPN에는 0.1, classification network에는 0.01의 weight를 부여하는 방식으로 구현됩니다.  

 

4) Adjusting Region Pass-Through During Detection

마지막으로, detection stage의 RPN에서 classification network로 전달되는 ROI의 수를 변경합니다. 교통 표지 도메인에서는 일반적으로 많은 수의 작은 객체가 존재하기 때문에 통과되는 region의 수를 조정해야 합니다.

NMS 이전에 하나의 FPN level 당 region 수를 1000개에서 10000개로 늘리고, 모든 FPN level의 ROI를 병합하고 NMS 2000개의 region을 수행하는 것은 유지됩니다.

 

Augmentation

 

Traffic sign 도메인의 특성으로 인해 기존 traffic sign 인스턴스의 인위적인 distortion을 가해 많은 수의 샘플을 생성합니다. 제안된 데이터셋의 교통 표지판은 pixel-wise 로 annotate 되어 있으므로 학습 이미지에서 교통 표지판만 분리할 수 있습니다. 분리된 교통 표지판은 1) geometric/shape distortion (perspective change, changes in scale) 및 2) appearance distortion (variations in brightness and contrast) 두 가지의 augmentation이 수행됩니다. 

 

Geometric, appearance distortion을 적용하기 전에 먼저 각 교통 표지판 인스턴스를 normalize 합니다. 이는 여러 각도에서 바라본 교통 표지판을 projective transformation을 통해 정면에서 바라본 표지판으로 변경하는 geometric normalize와 intensity channel 의 contrast를 조정하는 appearance normalize를 포함합니다. 즉, 각 표지판을 정면에서 바라본 contrast가 정규화된 인스탄스로 변경하는 것입니다. 

 

* Original Image → Geometric/Apprearance Normalize → Synthetically generated distortions

 

이후 가능한 사실적인 synthetic 학습 샘플을 생성하기 위해 학습 데이터셋의 geometry, appearance의 분포를 따랐습니다. Geometry change 의 경우 Euler rotation angle 분포를 추정하고 appearance change의 경우 평균 intensity 분포를 추정했습니다. 또한, geometry normalized 된 인스턴스의 크기를 사용하여 scale 분포를 추정했습니다. 

 

Synthetic distortion을 생성할 때 해당 분포에서 무작위 값을 샘플링합니다. 하지만 관측된 분포의 분산보다 두 배 큰 분산을 사용하여 더 큰 distortion을 생성하도록 했습니다. 그리고 실제 설정을 emulate 하기 위해 새로 생성한 교통 표지판 인스턴스를 거리 환경과 같은 배경 이미지에 평소 도로만 보이는 하단 중앙부를 피해 무작위 위치에 배치합니다. 

 

이러한 augmentation을 적용하는 이유는 교통 표지판은 한 클래스의 모양은 거의 동일하지만, 관측되는 위치에 따라 perspective transformation과 조명 등의 환경에 따라 geometric, appearance의 차이가 발생하기 때문입니다.

 

 

*정리

결론적으로 Traffic sign detection 성능을 높이기 위해 1) OHEM을 사용하여 어려운 예제를 집중적으로 학습하고, 2) 작은 사이즈의 ROI도 큰 사이즈의 ROI와 동일한 수준으로 선택하게 하고, 3) 배경 보다 전경에 집중하도록 하고, 4) RPN에서 추출하는 ROI 수를 늘리고, 5) Geomteric/Appearance distortion을 주는 augmentation을 사용하도록 했습니다.

 

Experiments

실험은 Swedish traffic-sign dataset (STSD) 와 새로 제안한 DFG traffic-sign dataset으로 진행됩니다. 딥러닝 모델은 Caffe2 기반의 Detectron으로 Faster R-CNN 과 Mask R-CNN을 구현하여 사용합니다. Backbone은 ResNet50입니다. GPU 당 batch 2를 (이미지 2개)를 사용하며 STSD에서는 GPU 2개, DFG에서는 GPU 4개로 실험합니다. (STSD : batch 당 4개 이미지, DFG : batch 당 8개 이미지)

 

본 실험에서는 1) PASCAL 에 기반한 mAP50와 2) COCO 에 기반한 mAP50:95 을 metric 으로 사용합니다. mAP50은 고정된 IoU overlap을 사용하는 것이고, mAP50:95는 overlap 범위 [0.50, 0.95]에 대해 0.05 증분으로 평균을 낸 값입니다. 따라서 COCO 기반의 mAP50:95는 region overlap의 품질에 더 중점을 두는 metric 입니다.

 

False-positive rate(1 - Precision)는 얼마나 많은 탐지가 거짓인가를 보여주고, miss rate(1 - Recall)는 얼마나 많은 교통 표지판이 탐지 되지 않았는지를 나타내는 비율입니다.

 

* Precision은 탐지한 객체 중 정답을 맞춘 객체에 대한 지표이고, Recall은 탐지해야하는 모든 객체 중 정답을 맞춘 객체에 대한 지표. 때문에 일반적으로 precision 과 recall은 반비례 관계.