[논문 리뷰] Differential Angular Imaging for Material Recognition

CVPR2017에 게재된 material recognition 관련 논문입니다.

 

본 논문에서는 이미지 캡처의 small anugular variation를 이용하여 재질 분류 성능을 높이는 DAIN(Differential Angular Imaging Network)를 제안합니다.

Introduction

Real world scene은 나무, 대리석, 흙, 금속, 세라믹 등과 같은 다양한 재질로 만들어진 표면으로 구성되어 있고, 이는 이미지에서 풍부한 visual variation을 발생시킵니다. Material recognition은 autonomous agent, human-machine 시스템과 같은 응용 분야에 대한 자세한 재질 정보를 제공하는 것을 목표로 최근 몇 년 동안 활발한 연구가 진행되었습니다.

Material appearance modeling의 초기 연구는 정밀한 측정을 요구하는 BRDF, BTF 등을 사용하는 실험실 기반의 반사율 측정에 집중했습니다. 이러한 reflectance 기반의 연구는 surface의 고유한 invariant한 특성을 관측하여 fine-grained한 재질 인식을 가능하게 하는 장점이 있습니다. 그러나 실험실 기반의 이미지 캡처는 제한조건이 많기 때문에 야외에서는 널리 사용되지 못했습니다. 이미지 기반 재질 인식의 최근 연구는 single-view 이미지를 사용하여 classifier를 학습시키고 multi-view reflectance 정보가 없는 arbitrary image에 적용할 수 있는 방법들이 있습니다. 하지만, 이러한 방법은 일반적으로 고유한 재질의 appearance 정보보다는 context 정보에 더욱 집중합니다.

 

본 논문에서는 in-scene의 appearance를 capture하지만 control 된 viewpoint angle를 사용합니다. (로봇이 움직이면서 한 scene에서 특정각도로 각을 바꿔 가며 찍은 이미지를 사용한단 말). 이러한 측정은 reflectance function의 sampling을 제공합니다. 이는 multiple viewing angles이 재질 인식에 어떻게 도움이 될지라는 질문과 연결됩니다. 이전 연구에서는 shape reconsturction을 위해 differential camera motion 또는 object motion을 사용했습니다. 여기서 우리는 새로운 질문을 고려합니다. viewing angle의 작은 변화가 인식 성능을 크게 향상시키는지? 이전 재질 인식 연구에서 angular filtering 의 파워를 보여줬지만 이들은 mirror 기반 카메라를 사용하여 BRDF의 슬라이스를 캡쳐하거나 light-field 카메라를 사용하여 differential viewpoint  variation을 구성합니다. 본 논문에서는 일반 카메라로 시야각의 차이가 변화하는 표면을 캡처하고 angular gradient의 근사치를 계산할 것을 제안합니다. 특정 시야각 v, differential viewpint v + δ 에 대한 이미지 캡처를 사용하는 angular differential iamging 이라는 접근 방식을 제안합니다.  이 방법은 이전에 22.5도와 같은 큰 각도 간격을 가진 실험실 기반의 반사율 측정 방법과 대조됩니다. 소형 스테레오 카메라 또는 움직이는 카메라로 구현할 수 있는 differential angular imaging이 재질 reflectance 속성에 대한 핵심 정보를 제공한다는 것을 보여줍니다.

 

- Dataset 

GTOS(Ground Terrain in Outdoor Scenes) dataset을 사용. GTOS는 multiple viewpoint, illumination conditions 그리고 angular different imaging으로 구성되어 있는 40개의 ground terrain 재질 dataset입니다.

 

multi-view 이미지는 위 그림의 검은색 선,박스에 해당하는 10도 차이를 가지는 9개의 multi-view로 이루어져 있고, differential angle variation은 모든 view마다(9개) 5도 차이를 가지는 view 1개씩(녹색 선, 박스) 추가로 구성되어 하나의 smaple당 총 18개의 viewing direction을 가지게 됩니다.

 

Differential Angular Imaging

간단히 설명하면 intensity ∂Iv/∂v angular gradient를 근사하여 작은 δ를 가지는 I(v + δ) − I(v)로 사용합니다.  

위 이미지들(2행)은 differential angular image들의 예시이며 이 이미지들은 reflectance 와 3D relief texture의 angular gradient 정보를 내포하고 있습니다.

5도의 viewpoint 차이로 만들어진 differential 이미지들이며, 육안으로 봐도 반사정도와 표면 거칠기 등이 color 이미지보다 잘 보이는 점으로 보아 해당 이미지들로 분류 성능을 높일 수 있을 것이라는 생각이 듭니다.

이제 이러한 color, differential angular image 들을 DAIN의 input으로  사용하여 재질을 분류하게 됩니다.

 

DAIN

color, diff 이미지를 인코딩한 정보를 합쳐 재질을 분류하기 위해 3가지 네트워크로 실험을 진행합니다.

 

1) Final layer combination

color, diff 이미지를 각각 서로 다른 CNN에 넣어 각 CNN이 color, diff 이미지를 인코딩하기 위해 적절히 학습될 것 입니다. 하지만, 최종 output만을 합쳐 class를 분류하므로 low-level feature들이 무시될 수 있는 단점이 있을 것 같습니다.

 

2) Intermediate combination

color, diff 각각의 lower layer에서 출력된 feature를 합쳐 하나의 higher layer에 넣어 클래스를 분류하므로, color, diff 정보가 중간에 smoothing되어버리는 단점이 발생할 듯 합니다. 또한 higher layer 를 하나만 사용하여 파라미터가 감소하므로 그 이유로 인한 성능감소 또한 존재할 수 있습니다.

 

3) DAIN

1,2번 네트워크의 단점을 보완하기 위해 low-level feature를 합치지만 color 이미지의 feature는 그대로 higher layer를 통과시켜 diff. 이미지와 정보가 섞이지 않도록 하여 성능을 개선시킵니다.

 

- Multiview DAIN

 

singleview 는 0.5도 차이의 small angular 에 해당하는 reflectance 만을 활용할 수 있습니다. 반면에 multiview 이미지들을 사용하면 더 넓은 각도의 reflectance 정보를 활용할 수 있기 때문에 재질 분류에 도움이 될 것이라 예측할 수 있습니다. 각 이미지들을 weight sharing된 lower layer에 넣고 추출된 feature들을 3D pooling과 3D filter(trainable)를 주입하여 feature dimension을 줄인 후 higher layer에 통과시켜 재질을 분류합니다. 

multiview data가 사용되긴 하지만 사실상 view별 correlation을 보는 곳은 3D filter 뿐이므로 multi-view에 효과적인 네트워크는 아니라는 생각이 듭니다. singleview에 비해 약 2% 가량 성능이 증가합니다.

My conclusion

재질 분류시 작은 각도 차이로 관측할 수 있는 표면의 partial한 reflectance 정보로 분류 성능을 향상시킬 수 있다는 점을 실험적으로 알게 되었습니다. 또한 color, diff 이미지, multiview 이미지들을 활용하기 위해 네트워크를 어떻게 구성할 수 있는지 배울 수 있는 논문이었습니다.