[논문 리뷰] Pyramid Scene Parsing Network / PSPNet / Pyramid Pooling

본 논문은 CVPR2017에 게재되었으며 PSPNet(ImageNet scene parsing challenge 2016에서 1등)을 제안합니다. 현재는 더 성능이 좋은 연구가 많이 소개되었지만 semantic segmentation에 global contextual information을 활용하기 위한 Pyramid Pooling Module 을 정리하기 위해 리뷰를 작성합니다.

---

Motivation

본 논문에서는 기존의 segmentation 알고리즘에 3가지 문제점이 있다고 지적합니다. (위 그림에서는 FCN 과 비교)

 

1) Mismatched Relationship : 주변 환경(contextual information)과 맞지 않는 픽셀 분류. 예를 들어 호수 근처의 자동차, 도로 위의 보트 같은 경우.

 

2) Confusion Categories : 헷갈릴 수 있는 픽셀 분류. builing 으로 분류된 픽셀 내부에 skyscraper 로 오분류 된 경우. 하지만 우리는 빌딩속에 고층빌딩이 있을 수 없다는 사실을 알고 있음.

 

3) Inconspicuous Classes : 눈에 잘 띄지 않는 물체의 픽셀 분류. 예시에서는 texture가 비슷한 이불과 베개에서 베개를 분류하지 못하는 경우.  하지만 우리는 침대의 끝쪽 또는 벽 가까이에 보통 베개가 위치한다는 사실을 알고 있음.

 

본 논문에서 제안하는 PSPNet의 위의 3가지 문제점을 개선하기 위해 global contextual information을 활용하려 합니다. local 정보뿐만이 아니라 global context 정보를 활용하면 픽셀을 분류할때 전체적인 scene의 상황을 고려할 수 있고 real world에서 인간이 통상적으로 가지고 있는 개념(특정 object가 존재하는 장소 또는 위치)를 이용할 수 있기 때문입니다.

 

물론 이러한 global contextual information이 segmentation에 방해되는 요소로 작용할 수도 있습니다. 자연스럽지는 않지만, 호수 근처에 자동차가 있을 수도 있고 침대 중간에 베개가 위치하거나 농구 코트 위에서 밥을 먹는 사람 등의 환경에서는 global context 가 오히려 방해될 수 있습니다. 그런 순간이 얼마나 있겠어? 라고 생각할 수 있지만 자율주행 등의 인간의 생명과 직결되는 task에서는 outlier 같은 위와 같은 상황에서 위험한 순간이 발생할 수도 있습니다.

 

Methods

그래서 본 논문에서는 이러한 global contextual information을 어떻게 활용하냐면, 위 그림의 Pyramid Pooling Module에서 보는 것처럼 backbone network에서 추출된 output feature를 여러개의 사이즈로 pooling을 하고(spatial domain에서) 다시 이들을 upsampling하여 기존의 feature에 concat해서 최종 prediction을 수행합니다.

 

기존 feature map의 채널 사이즈가 N 일때 pooling된 feature 사이즈는 각가 1x1xN, 2x2xN, 3x3xN, 6x6xN 입니다. 1x1xN으로 pooling된 feature의 경우 이미지 전체에 대한 global context를 담고 있고, 2x2xN의 경우 이미지 전체를 4개의 영역으로 나누어 영역별 global context 를 내포합니다. 이렇듯 여러 사이즈로 pooling을 한 결과가 이미지 전체를 여러 스케일의 그리드로 나누어 global context를 가지도록 만듭니다. 

그리고 pooling된 feature들을 conv 에 통과시켜 N개의 채널을 N/4 개의 채널로 바꿔줘서 기존 feature와 global context info. 를 가지는 feature의 채널 수가 1:1이 되도록 맞춰줍니다. 

 

이러한 연산을 수행했을때, spatial domain에서의 임의의 영역은 local한 정보와 여러 스케일의 global context 정보를 모두 가지게 됩니다.

 

Results

Pyramid Pooling Module의 효율성을 검증하기 위한 ablation 실험의 결과이며 여러 사이즈로 pooling 할 수록, max 보다는 average pooling을 할 때, conv로 dimension을 줄일 때 성능이 좋아지는 것을 볼 수 있습니다.

 

max pooling은 하나의 강한 값에만 영향을 받기 때문에 context information을 담기에 적절하지 않습니다. 그리고 dimension reduction은 conv layer가 추가되니까 성능이 좋아질 수 밖에 없기에 fair 한 비교는 아닌 것 같습니다.