[논문 리뷰] Recognizing Materials Using Perceptually Inspired Features

본 논문은 2013년, International journal of computer vision 저널에 게재된 논문입니다.

거의 10년전 논문이지만, 저에게 material recognition이라는 분야를 가장 잘 이해할 수 있게 해준 논문이기에 정리해두려 합니다.

 

Introduction

본 논문에서는 human material recognition 연구를 기반으로 하는 low, mid-level 이미지 feature를 제안하고 SVM classifier 를 사용하여 이러한 feature들을 결합합니다. 

아래에는 재질 카테고리를 분류하기 위한 몇가지 특성들을 소개합니다.

 

- Surface Reflectance

Surface reflectance는 재질 종류와 상관관계가 있는 경우가 많습니다. 예를 들어 나무 표면은 거친표면의 갈색이고 금속표면은 광택이 나는 경향이 있습니다. 하지만, 서로 다른 재질에 속하는 표면이 유사한 reflectance를 나타낼 수도 있습니다. (e.g. 플라스틱, 유리, 왁스 등은 모두 반투명할 수 있음) 따라서 reflectance가 반드시 재질 카테고리를 결정짓는 절대적인 요소는 아닙니다. 

 

- Texture

2D, 3D의 texture는 재질 appearance의 중요한 구성 요소입니다. 하지만 서로 다른 재질로 만들어진 표면이 상당히 유사한 질감을 나타낼 수도 있기 때문에 재질인식을 위해서 texture에만 의존할 수는 없습니다.

 

(a)는 reflectance는 유사하지만, 서로 다른 재질의 예시이고, (b)는 texture는 유사하지만 서로 다른 재질의 예시입니다.

 

- Object Information

재질 인식 문제가 잘 연구된 object recognition의 일환으로 생각할 수도 있습니다. 커피 머그는 세라믹, 자동차는 금속과 유리, 의자는 나무로 만들어지는 경향이 있기 때문입니다. 이렇듯 object와 material에는 깊은 상관관계가 있지만, 특히 인공 물체의 경우 이들의 관계가 일대일 관계가 아니며, 동일한 object 카테고리 물체가 다른 재질로 만들어 질 수도 있습니다. 

 

(a) 는 동일한 object 카테고리이지만 다른 재질로 만들어진 예시입니다.

 

(b) 는 서로 다른 object 카테고리이지만 동일한 재질로 구성된 예시입니다.

 

 

- Local feature

본 논문에서는 이미지의 크기가 아니라 surface의 크기에 상대적인 'local features' 와 'non-local features'라는 용어를 사용합니다. color, texture, local shape은 local feature에 outline shape, object identity는 non-local feature에 해당합니다.

 

본 논문에서는 local surface 특성이 재질 인식에 sufficient하지는 않다고 합니다. 아래 그림에서 윗줄(a) 는 shiny한 플라스틱이나 금속으로, 밑줄(a) 는 사람의 피부나 나무로 만들어질 수도 있습니다. (b)에서 자동차의 그릴과 후드(윗줄), 테이블 가장자리의 긴 하이라이트(밑줄)과 같은 non-local surface 특징을 고려해야만 재질을 분류할 수 있습니다. Object가 이미지에서 완전히 보일 때는 재질 카테고리를 더욱 제한합니다.(테이블은... 보통 나무로 만드니까) Surface appearance의 이러한 non-local 한 부분을 식별하고 모델링하는 것이 성공적인 재질 분류의 핵심이라고 생각한다고 합니다. 

 

그런데, 사실 위 설명은 극히 일부의 경우에만 해당하고 현시점의 재질분류는 local 정보와 non-local 정보(global, contextual 정보라고도 함)의 적절한 밸런스를 유지하는 것이 중요합니다. 재질 분류의 궁극적인 목표는 shape에 invariant하게 재질을 분류하는 것이기 때문이고, 그렇다고 하지만 global 정보가 중요하지 않다고 볼 수는 없기 때문입니다.

 

 

위에서 설명한 다양한 이유들로 object나 scene과 달리 재질 카테고리를 서로 확실하게 구분할 수 있는 이미지 특징을 찾기는 쉽지 않습니다. 재질 surface는 크기, 3D shape, color, reflectance, texture 등 다양한 특징이 존재하기 때문입니다.

 

본 논문에서는 (1) 재질을 특성화하는데 사용할 수 있는 low, mid-level image information을 이해하기 위해 perceptual 연구를 수행하고, (2) 연구 결과를 통해 image feature set을 제안합니다. 

 

Studying Human Material Perception Using Mechanical Turk

 

어떤 이미지의 특징이 재질을 분류하는데 유용한지 이해하기 위해 본 논문에서는 인간의 인식에 초점을 맞춥니다. 다양한 이미지 특징(시각적)을 인간 관찰자에게 제시하고 재질 인식에서 정확도를 측정하여 인간의 반응과 상관관계가 있는 이미지 특징 유형을 식별하려 합니다. Object 속성에 초점을 맞춘 특징과 local 이미지 특징, 이러한 두 가지 유형의 이미지 특징을 강조하는 방식으로 FMD 이미지를 왜곡하고 사람들에게 분류하도록 요청합니다.  

 

- Object feature

Object 기반 이미지 feature를 평가하기 위해 전체 object shape을 강조하고 color 및 reflectance 정보를 최소화하는 이미지를 만듭니다. 이러한 이미지를 얻기 위해 두 가지 유형(Bilateral filter, High-pass filter)의 이미지 처리를 사용합니다. 아래 그림의 (b), (c)가 예시이며 플라스틱 장난감의 하이라이트가 거의 사라지고 와인잔의 표면구조가 더 잘보이는 것을 확인할 수 있습니다.

 

- Local feature

Local 이미지 특징을 평가하기 위해 local 표면 정보를 강조하고 global 표면 정보를 최소화하는 이미지를 만들었습니다. FMD 이미지를 locally preseve 되지만 globally scramble 된 이미지로 재생성하기 위해 non-parametric texture synthesis algorithm을 사용합니다. 15x15 및 30x30의 다른 window size를 사용했으며, local scale에서 이러한 이미지가 원본과 유사하더라도 이러한 texture 합성 이미지에서 object를 식별하는 것은 어렵습니다. 

인간의 인식 결과는 아래와 같습니다.

(a) : 84.9%

(b) : 65.3%

(c) : 64.8%

(d) : 38.7%

(e) : 46.9%

 

object가 강조된 이미지에서 결과가 더 높은 것으로 보아 object와 재질 간의 깊은 상관관계가 있음을 알 수 있습니다. local 정보를 강조한 합성이미지는 인식 결과가 많이 떨어지지만 random한 결과보다는 높기 때문에 local 정보도 재질 분류에 도움을 준다는 것을 알 수 있습니다. 또한 인공 재질(e.g. 플라스틱)는 천연 재질(e.g. 돌) 보다 texture 모양이 더욱 다양하기 떄문에 global 정보가 제거되면 인식하기 어렵습니다.

 

A Proposed Set of Image Features for Material Category Recognition

 

4개의 이미지 feature group을 사용합니다. 각 그룹은 surface appearance의 다른 부분을 측정하도록 설계되었습니다.(color and texture, micro-texture, outline shape, reflectance) 이 그룹은 각각 1~3개의 feature로 구성되며 다양한 크기의 이미지 영역을 사용합니다. 

 

1. Color and Texture

Jets(filter bank), SIFT

 

2. Micro-Texture

동일한 BRDF를 가진 두 surface는 surface micro-structure가 유사하지 않은 경우 매우 다르게 보일 수 있습니다. Surface micro-structure 정보를 추출하기 위해 bilateral filter를 통해 이미지를 smoothing한 후, 추가 분석을 위해 residual image를 사용합니다. Bilateral filtering의 residual은 더 미세한 스케일에서의 pixel intensity의 변화를 나타냅니다. 아래 그림의 fabric, metal에는 surface micro-structure 정보가 포함되어 있는 반면 유리의 경우 이러한 변화는 translucency(반투명도)와 관련이 있습니다. Surface micro-structure의 기여를 reflectance와 명확하기 구별하기는 힘들지만, residual은 재료인식을 위한 유용한 정보가 있는 경우가 많습니다. 

이러한 residual 이미지의 정보를 특성화하기 위해 residual 이미지에서 jets, SIFT feature를 계산합니다.

micro-jets, micro-SIFT

 

3. Outline Shape

Edge map을 얻기 위해 canny edge detector를 사용합니다. 재질 카테고리에 따른 edge map의 변화를 특성화하기 위해 edge map에서 edge의 curvature(곡률)을 특징으로 측정했습니다.

 

4. Reflectance-based feature

Reflectance 특성은 때때로 surface 가장자리에서 뚜렷한 intensity 변화로 나타납니다. 이러한 변화를 측정하기 위해 이미지의 가장자리 근처 영역에 HOG feature를 사용합니다. 

Edge-slice, Edge-ribbon

Classifiers for Material Category Recognition

LDA, SVM 사용