[논문 리뷰] A 4D Light-Field Dataset and CNN Architectures for Material Recognition

본 논문은 ECCV2016에 게재된 논문으로 4D light-field dataset을 처음으로 재질 인식에 사용한 연구 입니다.

 

Light field?

light field 는 빛을 시공간 field에서 표현하기 위한 plenoptic function으로 정의할 수 있는데, 이중에서 빛의 방향(가로 각도, 세로각도), 빛의 2차원 위치(x,y) 4개의 파라미터만을 사용하여 4D light-field라고 합니다.  Lytro Illum 등의 4D light-field 카메라는 micro lens array를 main lens와 photo sensor 사이에 위치시켜 오브젝트 한 지점에서 여러 방향으로 방사되어 main lenz를 통과하는 빛을 micro lens로 분리시켜 따로 저장시킬 수 있습니다. 이는 base-line이 굉장히 짧은 multi-view 카메라와 유사하게 볼 수도 있기 때문에 multi-view 카메라로 할 수 있었던 depth estimation, 3D reconsturction, refocusing 등의 task에 4D light-field 카메라를 활용한 연구가 많이 소개되어 있습니다.

4D ligth field 이미지는 spatial domain 과 angular domain이 존재하는데, 글로 읽으면 많이 헷갈리는 부분입니다. spatial domain은 이미지에서 2차원 공간 좌표계를 뜻하고, angular domain은 object 한 포인트를 보고 있지만 조금씩 서로 다른 각도에서 본 좌표계를 뜻합니다. 일반 카메라의 해상도가 100x100 이라고 할때 이는 spatial domain이고, light field에서 spatial domain이 100x100, angular domain이 7x7 이면 총 700x700 의 raw data 이미지를 얻을 수 있고 여기서 angular domain(7*7) 만큼의 서로 다른 각도에서 입사된 빛을 저장하고 있는 것으로 볼 수 있습니다. task에 따라 raw data(700x700)를 그대로 사용하기도 하고 후처리 과정을 거쳐 100x100 이미지를 7x7(49)개 로 분리 시켜 사용할 수도 있습니다.

Introduction

본 논문은 이러한 4D light field 카메라를 재질인식에 사용하여 성능을 높이고자 했습니다. light field 카메라는 baseline이 짧은 multi-view 카메로 볼 수 있기 때문에, light filed 이미지에서 surface의 partial한 reflectance를 추출할 수 있습니다.reflectance는 재질의 종류와 표면에 따라 달라지는 어느정도 고유한 속성이기 때문에 재질 분류에 활용할 수 있습니다. (물론 동일 재질일지라도 표면의 roughness등에 따라 reflectance는 많이 달라질 수 있지만, 일반적인 경우 재질 분류에 상당한 도움을 주는 feature입니다.)

본 연구에서는 12개의 재질 class, class별 100개의 이미지로 이루어진 dataset을 제공합니다. 동 dataset으로 patch-wise classification을 수행하여 patch model을 train하고 FCN model에 fransfer하여 semantic segmentation까지 수행합니다. 또한 4D light field data를 인코딩하기 위한 몇가지 CNN 구조를 소개합니다. 2D 이미지에 비해 4D 이미지를 사용하여 재질 분류 성능을 6-7% 가량 높이는 성과를 달성합니다.

 

Light-field material dataset

dataset의 spatial resolution은 376x541이며 angular resolution은 14x14이지만(카메라 성능) 7x7까지 제공합니다. (light field 카메라의 특성상 끝쪽 angle로 갈수록 조도가 많이 떨어집니다.) 

 

흥미로운 점은 다른 재질 dataset과 다르게 light-field만이 잘 구별할 수 있는 혼동되는 class를 포함합니다. 위 그림에서 paper, sky 2D 이미지는 사람이 봐도 구별하기 힘들지만 light field 이미지로는 paper는 카메라에서 가까운 거리에 있기 때문에 micro lens로 인해 격자무늬가 발생합니다. 그리고 실제 fabric과 fabric을 촬영 후 인쇄한 paper 또한 color와 texture는 유사하지만 reflectance 차이가 있기 때문에 네트워크가 구별가능하다고 주장합니다.

 

CNN architecture for 4D light-fields

 

1) View pool

각 view 별 feature를 각각 encoding 후 max pooling 

view별 가장 강하게 관측되는 feature들만 모아서 분류하고자 하는 방법인 것 같고 reflectance를 인코딩하기는 어려운 구조입니다.

사실 baseline이 굉장히 짧기 때문에 view별 feature의 차이가 그렇게 크지 않을 것이기 때문에 좋은 방법이 아닐 것입니다. (큰 각도 차이나 object의 다른 부분을 볼때는 도움이 될 수 있는 방법인 것 같습니다.)

2) stack

모든 view에서 추출된 feature를 다 쌓은 다음 다시 convolution filter에 통과시켜 view별 correlation을 봅니다.

가장 무식하게 view별 correlation을 인코딩하기 좋은 방법이지만, 모든 view를 스택하기 때문에 conv filter parameter 수가 상당히 많이 증가할 것 같습니다.

3) EPI

Multi-view에서 많이 사용하는 EPI 방식으로 conv를 수행합니다. (성능이 stack 보다 좋지 않아 유심히 보지 않음)

4) Angular filter

raw data 이미지에서 angular resolution에 해당하는 7*7 사이즈로 먼저 conv(stride 7)를 수행하여 하나의 pixel에서 view별 correlation을 보고 spatial domain에서 correlation을 보고자 합니다.

 

 

4D filter

5) 4D filter

interleaved filter라 부르는데, spatial domain correlation만을 보는 spatial filter와 angular domain correlation 만을 보는 angular filter를 번갈아 가며 사용해서 spatial, angular domain 에서 동시에 점진적으로 feature를 low-level 에서 high-level로 인코딩합니다.

 

결과는 angular domain correlation 을 보는 2개의 방법이 가장 효과적인 것을 볼 수 있습니다.

 

Full scene material segmentation

FCN을 fine-tuning하여 위와 같이 segmentation까지 수행합니다.

 

My Conclusion

light field data로 surface를 관측하는 작은 각도 차이에서 관측 가능한 reflectance가 재질 분류에 도움을 줄 수 있다는 사실과 함께 ligth field material recognition dataset을 제공한 논문입니다.

21년 가을 기준으로 본 논문의 분류 성능을 높힌 논문이 2개 정도 더 게재되어 있습니다.