[논문 리뷰] Non-local Neural Networks / Vision Transformer의 시초

Non-local network 정리...

 

CNN 은 얕은 layer에서는 spatial domain에서의 local한 영역의 correlation을, 깊은 layer에서는 상대적으로 global한 영역까지의 correlation을 추출하는 local operator 로 볼 수 있습니다. 또한 layer가 깊어지더라도 한번의 연산에서 전체 영역의 correlation을 추출하는 non-local 연산과는 차이가 있습니다. 때문에 CNN은 spatial domain 또는 temporal domain 상에서 거리가 먼 feature 들간의 correlation이 추출되기 힘든 구조입니다.

본 논문은 이를 개선하기 위한 Non-local operation을 제안합니다.

 

아래 그림은 non-local block 이 학습되었을 때, 가장 큰 weighted arrow 를 시각화한 그림입니다. 특정 object가 다른 object와 correlation이 있다면 spatial, temporal 거리가 멀더라도 크게 activate 되는 것을 확인할 수 있습니다.

 

Examples of the behavior of a non-local block

 

Motivation

 

이미지 노이즈 제거 filter인 Non-local Means Filter(NLM filter)에서 영감을 얻어 한 지점과 다른 모든 지점과의 관계를 계산하고자 합니다. 아래 식에서 yi는 특정 i번째 feature(feature map에서 특정 spatial point)에서 다른 위치의 feature(j) 와의 similarity를 계산 후 embedding된 j번째 feature의 값을 곱하고, 이 연산을 모든 영역에서 수행한 결과의 합 입니다.

Non-local 연산

similarity 계산

Non-local 연산된 yi와 원래 feature xi를 더하는 residual 연산.(Wz : 1x1 conv.)

- f(xi, xj) : xi와 xj 의 similarity 를 계산하는 함수이며, 본 논문에서는 4가지의 방식을 제안하는데 어떤 방식을 써도 성능 향상은 비슷하기 때문에 similarity를 계산하는 자체가 non-local 연산에서 중요한 점이라고 볼 수 있습니다.

- g(xj) : j 번째 위치의 feature에 weight를 곱해서 embedding하는 함수이며, 단순히 특정 위치의 feature를 가져오는 대신 weight를 곱해주어 의미있는 정보를 추출하려 합니다. 곱해지는 함수 f를 weight로 생각하면 i, j 간의 similarity 가 높을 때 g(xj)가 더 크게 activate 됩니다. 

 

- 1/C(x) : normalize term

 

결국 이러한 non-local 연산의 의미는 어떤 A영역의 feature와 이미지 전체 영역(spatial, temporal)에 대한 feature들과의 관계(similarity, correlation)을 계산하고 그 관계성이 클수록(관계성이 큰 영역이 B라면), B영역의 embedding된 feature의 값을 더 크게 activate 시키는 것이라 생각합니다.

 

때문에, single 이미지에서 (task에 따라 다르겠지만 classifaction 이라면) 어떤 2개 이상의 object 들이 함께 존재하는 것이 이미지 분류에 도움을 준다면, 공간적으로 가까이 있지 않을때 CNN은 이들의 관계를 직접적으로 추출하기 힘들지만, non-local 연산을 이들의 관계를 학습할 수 있습니다. 또한 video 이미지들에서는 spatial, temporal 축에서 모두 non-local한 관계를 학습할 수 있습니다.

 

 

Implementation

 

이러한 non-local 연산을 pixel-wise 로 실행하는 것은 너무 낭비적이기 때문에, 아래와 같은 방식으로 feature 단위에서 수행합니다.

feature x(HW*1024)를 transpose해서(1024*HW) 서로 matrix multiplication 연산(f(xi,xj))을 통해 similarity 을 계산합니다(HW*HW). 다시 feature x를 1x1 conv(g(xj))를 통과시켜 embedding 시켜주고(HW*512), 이를 앞선 연산에서 출력한 similarity map(HW*HW)과 matrix mul. 를 수행해서 non-local 연산이 끝납니다.