[논문 리뷰] SHAPE-TEXTURE DEBIASED NEURAL NETWORK TRAINING / 뉴럴 네트워크에서 shape과 texture의 관계

ICLR 2021에 개제된 논문이며 object와 shape, texture와의 관계, 그리고 object recognition 등의 vision task에서 shape과 texture 정보를 모두 이용하여 학습하여 성능을 향상시킨 shape-texture debiased neural network를 제안합니다.

 

Introduction

Shape과 texture는 모두 object를 인식할 때 중요한 단서들입니다. 이미 이전의 object recognition 연구에서 shape과 texture를 적절하게 결합하면 인식 성능을 높일 수 있음이 밝혀졌습니다. ‘IMAGENET-TRAINED CNNS ARE BIASED TOWARDS TEXTURE; INCREASING SHAPE BIAS IMPROVES ACCURACY AND ROBUSTNESS’ 논문에서는 ImageNet으로 학습된(training data에 따라) CNN이 shape보다 texture에 편향되어 있다는 결과를 실험적으로 증명했습니다. 위의 간단한 예시를 보면 학습된 CNN이 코끼리의 local한 이미지는 코끼리로 정확하게 인식하고 고양이 전체 이미지는 고양이로 인식하지만, 코끼리 피부에 고양이 shape이 합성된 이미지는 texture에 해당하는 코끼리로 예측하는 것을 볼 수 있습니다.

Overview of AdaIN style-transfer

Examples of Stylized-ImageNet(SIN)

IN은 ImageNet, SIN은 stylized-ImageNet(AdaIN style-transfer를 이용하여 shape은 유지한 채 style(texture)를 바꾼 이미지)입니다. 위의 figure에서 SIN 예시를 보면 하나의 이미지를 texture 정보를 바꿔서 여러 이미지를 생성할 수 있는 것을 볼 수 있습니다. 실험결과에서 IN으로 training시키고 SIN으로 test시 결과가 제일 안 좋은 것으로 보아 IN(ImageNet 원본)으로 학습된 CNN이 texture에 많이 bias 되어 있다고 판단할 수 있습니다.

 

*AdaIN Style-transfer : feature space에서 statistics(mean,std)가 style을 표현하는데 중요한 요소라는 것을 이용하여 contents-이미지(shape)에서 style을 제거하고 style-이미지(texture)의 style을 적용시키는 방법

 

본 논문에서는 shape 또는 texture에 bias된 representation으로 학습된 CNN은 성능이 떨어진다는 것을 보여줍니다. 그리고 shape-biased, texture-biased 모델이 상호보완적이고 두 가지 특성 중 하나에 치우치면 모델 성능이 제한될 수 있습니다. 예를 들어 texture 정보가 없으면 shape이 비슷한 오렌지와 레몬의 차이를 구별하기 힘들 수 있습니다.

 

본 논문에서는 더 나은 representation을 학습하기 위해 shape-texture debiased neural network training framework를 제안합니다. 이 방법은 CNN training 샘플에서 shape이나 texture에 bias되는 것을 막기 위해 자동으로 optimal한 representation을 찾게 하는 방식이며, 원본 training 데이터를 보강하기 위해 shape과 texture 상관관계를 무너뜨리는 cue conflict image를 생성하기 위해 style transfer를 적용합니다. 또한 이미지의 shape과 texture 두 가지 모두 supervision(shape, texture label을 가진 data 필요)을 제공해야 합니다.

 

아래의 figure에서 fur coat는 대부분의 코트 또는 옷 상의가 가지는 shape 정보를 가지고 있음과 동시에 특유의 texture를 가지고 있습니다. 이때 shape-biased 된 모델은 옷의 shape에만 집중하기 때문에 다른 종류의 옷으로 예측할 수 있고, texture-biased된 모델에서는 fur coat의 texture에만 집중하기 때문에 비슷한 local 패턴을 가지는 고양이 또는 다른 사물로 예측할 수 있습니다. 특히 옷 같은 경우 shape이 일정하지 않고 접히거나 구겨져 있을 수 있기 때문에 texture 정보가 필수적입니다. 때문에 object를 더욱 정확하게 학습하고 판별하기 위해서는 shape 정보와 texture 정보를 적절히 활용하는 것이 중요합니다.

Shape-biased Model / Texture-biased Model / Debiased Model(proposed)

 

SHAPE/TEXTURE BIASED NEURAL NETWORKS

아래 그림처럼 이미지는 shape-biased model이 더 잘 분류할 수 있는 경우와 texture-biased model이 더 잘 분류할 수 있는 경우로 나뉩니다. 주로 texture-bias model이 잘 분류할 수 있는 이미지는 shape이 정형화 되어있지 않아서 객체가 다양한 모양을 가질 수 있는 경우에 해당합니다.

Stylized-ImageNet은 style transfer를 이용하여 ImageNet dataset의 shape은 유지한 채 texture를 변화시킨 dataset입니다. 때문에 CNN이 Stylized-ImageNet dataset으로 training되는 경우 model이 shape에 bias될 것입니다. 이전 논문에서는 original dataset으로 CNN을 학습시키고 style-ImageNet으로 fine-tuning해서 texture-biased 되었던 모델을 shape에 집중하도록 조절했습니다.

 

- Data generation

본 논문에서는 shape, texture 정보가 합성된 이미지를 training 샘플로 적용하여 shape-bias 또는 texture-bias 모델을 얻습니다. Cue conflict image는 균일하게 무작위로 한 쌍의 이미지를 선택한 다음 style-transfer을 적용하여 shape과 texture 정보를 혼합한 이미지입니다. 예를 들어 침팬지 shape과 레몬 texture를 합친 conflict image를 생성할 수 있습니다.

 

- Label assignment

Cue conflict image에 label을 할당하는 방법은 학습된 모델의 bias를 제어합니다. 모델이 texture에 더 집중하게 하려면 cue conflict image에 적용된 한 쌍(침팬지, 레몬)의 이미지에서 texture(레몬)에 해당하는 label을 할당하고 shape에 집중하게 하려면 shape(침팬지)에 해당하는 label을 할당합니다.

 

반응형

SHAPE-TEXTURE DEBIASED NEURAL NETWORK TRAINING

Prediction에 shape과 texture 정보를 모두 이용하기 위해 Mixup에서 영감을 얻은 간단한 방법을 제안하여 soft labeling을 합니다. 즉, shape-source 이미지 ys의 one-hot label과 texture-source 이미 yt의 one-hot label이 주어지면 cue conflict image에 할당된 new label은 다음과 같습니다.

 

Shape-texture coefficient γ 는 0~1 값으로 shape과 texture 사이의 상대적 중요성을 제어하기 위한 하이퍼파라미터입니다. γ 를 0 또는 1로 지정하면 모델을 texture-bias 또는 shape-bias 모델로 학습시킬 수 있습니다. 두 개의 극단은 biased 모델을 만들고 0~1사이에서 optimal한 포인트가 존재할 것입니다. (실험적으로 0.7이 sweet point입니다=shape 정보가 recognition에 상대적으로 더 중요하다는 결과) 이러한 방법을 shape-texture debiased neural network training이라고 이름을 지정합니다.

 

방법은 매우 간단해 보이지만, 한 쌍의 이미지를 구성할 때 shape-source 이미지와 texture-source 이미지를 어떻게 나누어 뒀는지 의문이 생깁니다. 한 이미지에서 shape 과 texture 정보 중 어떤 것이 dominant한지 handcrafted 하게 나누었는지 의문입니다.

 

Debiased Model (proposed)

Semantic segmentation으로 응용 또한 가능합니다. 아래 figure처럼 Texture-source object를 분할하고 shape label이 할당된 shape source 이미지에 texture를 style-transfer하여 data를 만들 수 있습니다.

 

 

RESULTS

아래 figure에서 shape model과 texture model의 activation map 결과를 보면 shape 모델은 고양이, 사자의 얼굴에 activate 되어있는 반면 texture model은 객체의 전체에 고루 activate되어 있는 것을 볼 수 있습니다.

 

 

table.1

 

Table.1은 vanilla 학습과 vanilla 학습에서 epoch을 2배로 하여 실험한 것, shape-biased, texture-biased, Debiased model의 실험결과입니다. Shape 또는 texture에 bias 되는 경우 성능이 저하되는 것을 볼 수 있고, debiased model의 경우 network 사이즈가 커질수록 성능이 더욱 향상되는 것을 볼 수 있습니다. 2xepoch과 비교하여 단순히 학습을 더 많이 하는 것은 의미 없다는 것을 알 수 있습니다.

 

table.2

Table.2은 debiased model이 shape과 texture 정보를 모두 적절히 잘 표현하도록 학습되었는지 확인하기 위해 shape dataset인 ImageNet-Sketch, ImageNet-R과 texture dataset인 Kylberg Texture, Flicker Material dataset으로 실험한 결과입니다. Shape dataset의 경우 S-biased model 보다도 debiased model이 성능이 더 좋고 texture dataset의 경우 T-biased 보다는 성능이 좋지 않지만 vanilla 보다 성능이 향상되는 것을 볼 수 있습니다.

 

table.3

table.4

 

Table.3,4는 ImageNet-A(natural adversarial example 포함), ImageNet-C(75개의 visual corruption 적용), stylized-ImageNet에서 모델의 일반화 성능과 FGSM adversarial attack에 대한 robustness를 실험한 결과입니다. 모든 STOA의 개선사항은 여러 벤치마크에서 일관되지 않지만 debiased 모델은 vanilla training baseline을 능가하는 유일한 방법입니다.

 

내 생각.. 

가공하지 않은 대부분의 real world 데이터로 CNN을 학습시킬 땐 극단적으로 shape 또는 texture에 bias되지는 않을 것입니다. Texture에 어느 정도 bias 되는 경우는 분류 대상 shape의 deformation이 크기 때문에 inner class의 shape이 일정하지 않지만(동물의 경우 바라보는 각도나 동물의 자세에 따라, 사물은 세부 카테고리가 나뉘기 때문에) 일정부분 유사한 texture를 공유하기 때문에 CNN이 자연스레 texture에 bias되는 경우가 많다고 생각합니다. 즉, CNN이 shape에 집중한다면 training data의 texture의 variation이 큰 것이고 texture에 집중한다면 shape의 variation이 크다고 볼 수 있을 것 같습니다. 때문에 training data가 전체 data를 대변할 수 있을 정도로 방대하다면 shape 또는 texture에 bias되는게 오히려 자연스럽고 바람직한 학습방법이라고 생각합니다. 하지만, 언제나 training data는 모든 data를 대변할 수 없기 때문에 본 논문에서 shape과 texture 정보를 모두 적절히 이용하도록 학습을 유도하는 것이라 생각합니다.

 

Overview of six domains in ImageNet-D

본 논문의 proposed method는 위 그림과 같이 shape 정보는 유사하지만 texture 정보가 다른(domain이 다른) dataset에서도 성능향상이 있을 것이라 생각합니다. 하지만, 문제 정의에 따라 real 이미지가 아닌 이미지(sketch, painting,…)들은 anomaly data로 취급하고 real 이미지들만 분류하길 바라는 task도 있기 때문에 선택적으로 사용해야 한다고 생각합니다.  

 

아래는 논문을 읽으며 생긴 두 가지 의문점에 대한 정리입니다.

 

첫 번째는 class 특성에 따라(무엇에 더욱 dominant 한지) shape/texture – source로 수작업으로 나누지 않고 random 하게 한 쌍의 이미지를 골라서 하나의 이미지에 다른 하나의 이미지의 style(texture) 을 적용시켰을 때 어떻게 성능이 개선되었는지 의문입니다. Shape 정보가 더 중요한 이미지를 shape-source로 상대적으로 texture 정보가 중요한 이미지를 texture-source로 사용하는 것이 합리적이라고 생각했기 때문입니다.

두 번째는 style-transfer를 사용하는 것에 대한 의문점이 있습니다. 본 논문에서는 shape+texture 합성 이미지를 생성하기 위해 AdaIN style-transfer를 사용하는데 원리는 아래 수식을 따릅니다.

(x : content-이미지, y : style-이미지)

 

위 식은 feature space에서 statistics(mean, std)가 이미지의 style(texture)과 상관관계가 있기 때문에, x 이미지에서 style을 제거하고 y 이미지의 style을 적용시키는 방식입니다. Style-transfer task에서는 AdaIN 계산 이후에 이미지 space로 decoding하기 위해 네트워크가 더 남아있습니다. 본 논문에서는 이미지 space에서 visual 적으로 합성된 이미지를 training에 직접 사용하는데, training 시 conflict 이미지 쌍 원본을 네트워크에 주입하고 AdaIN 식으로 feature 합성 후 class를 prediction하고 soft label로 loss를 줘서 학습시키는 것과 결과가 다를지 궁금합니다. 합성된 이미지는 feature level에서 decoding 된 image 이기 때문에 decoding 되기 전의 feature level에서 그대로 사용하는 것이 shape과 texture를 모두 더 잘 표현할 수 있지 않을까? 라는 생각이 들었습니다.