[논문 리뷰] Learning to Compare: Relation Network for Few-Shot Learning / meta-learning, few shot learning

본 논문은 CVPR2018에 게재된 few shot learning 이라는 주제의 논문입니다. 

 

딥러닝에서 데이터의 개수는 성능과 직결되지만, 현실적인 테스크에서 데이터 개수는 늘 부족할 수 밖에 없습니다. 

이러한 limited data 문제를 해결하기 위해 data 차원에서는 data augmentation 방법이 존재하고, network 차원에서는  Un/Semi-supervised learning, Transfer learning, Meta learning 방법 등이 존재합니다. few shot learning은 meta learning 방식을 사용하여 적은 data 개수로 network를 학습시키는 방법론입니다. Meta learning에는 metric, model, optimization, GCN 등 다양한 base의 연구가 존재합니다. 

 

Few shot learning은 매우 적은 데이터 개수로 네트워크를 학습시키는 방법이며 'N-way K-shot' 문제라고 부릅니다. N은 class의 개수이며, K는 class별 데이터의 수를 의미합니다. K가 많을수록 class별 인스턴스의 수가 많아지므로 성능이 좋아지고 N이 많아지면 분류해야할 class의 수가 늘어나기 때문에 성능이 떨어집니다. Few shot learning은 K가 매우 작은 상황을 가정하며 대부분 연구에서는 benchmark로 5-way 1-shot, 5-way 5-shot 를 사용합니다.

 

Few shot learning 모델이 새로운 데이터(학습하지 않은 class)에서도 잘 동작하도록 episodic training 방식의 meta-learning을 사용하여 일반화 성능을 극대화시킵니다. 

*Meta-learning : 적은 수의 data로 모델을 학습시키위한 learn to learn 방식의 학습 방법을 지칭

 

Episode Learning

Episodic training은 대용량 training dataset에서 N-way K-shot의 support set 1개와 query set 1개로 1개의 에피소드를 만듭니다. 여러개의 에피소드를 생성하여 네트워크를 학습시키고 test시에는 training dataset에 존재하지 않았던 class로 support set과 query set을 만들어 테스트합니다.

 

1) Training data에서 n-way k-shot 의 data 추출하여 support set 구성

 

2) Training data에서 support set에 포함된 class로 query set 구성 

3) Query set을 평가하고 계산된 loss로 Network을 update

4) 1~3번을 반복하며 training set에는 없던 class를 가지는 test dataset으로 support/query set을 만들어 성능을 테스트합니다.

 

 

반응형

 

Metric Learning Approach

Metric-based 방법은 이미지가 feature space로 embedding되었을 때 동일한 class끼리는 feature가 매우 가까운 거리에 있도록 학습시키고 서로 다른 class끼리는 먼 위치에 있도록 학습시키는 방법입니다. feature space에서 feature 간 거리는 euclidean metric, cosine metric 등의 방법으로 미분가능한 distance를 사용합니다. Ground truth는 2개 인스턴스가 서로 동일한 class인 경우 1로, 서로 다른 class인 경우 0으로 지정하여 similarity가 높은 data 쌍일수록 output이 0에서 1에 가까워지도록 학습시킵니다.

 

가장 간단한 방법으로는 아래 그림과 같이 하나의 network에 2개의 이미지를 넣고 임베딩된 feature 2개로 feature distance를 재는 샴 네트워크가 있습니다.

즉, 이러한 방식으로 학습시키면 일반적인 classification 문제와는 달리 이미 class 정보를 알고 있는 이미지 1장과 테스트 이미지 1장을 넣어 2개의 이미지가 동일한 클래스인지 동일하지 않은 클래스인지를 분류하게 됩니다.

하지만, 역시 테스트할 데이터의 class로 학습하지 못하기 때문에 학습 데이터와 테스트 데이터의 domain difference가 큰 경우에는 성능이 많이 저하됩니다.

 

 

Relation Network

previous work에서는 euclidean distance, cosine distance를 이용하여 학습시켰는데, 본 논문에서는 Relation Module(RM) 이라는 fc layer를 통해 2장의 이미지로 부터 추출된 2개의 feature를 concat 시키고 RM을 거쳐 relation score를 생성하게 되고 이는 이미지 2장의 similarity를 나타내게 됩니다.

즉, 이전 연구에서는 정해진 연산(euclidean metric, cosine metric)으로 2개 feature 간의 거리를 구했다면 본 논문에서는 feature 2개를 연결하고 fc layer 로 similarity 를 학습하여 relation score를 계산합니다. 학습가능한 방식으로 similarity를 구하기 때문에 이전 연구에 비해 성능이 좋게 나오는 것을 볼 수 있습니다.

 

 

Few-shot classification accuracies on miniImagenet