[논문 리뷰] Class-Balanced Loss Based on Effective Number of Samples / Class imbalance를 극복하기 위한 방법

Class Imabalance 문제를 해결하는 방법을 제안하는 CVPR 2019에 공개된 논문을 소개합니다. 이번 리뷰는 문제 정의와 해결하는 방법을 개념적으로 설명합니다. (디테일 제외)

 

Class Imbalance ?

Class Imbalance 문제라는 것은 딥러닝에서 네트워크를 학습시킬 때 사용되는 training data 의 class 개수가 balance 가 맞지 않는 상황을 말합니다. 실제 데이터에서는 매우 빈번한 일이기에 중요한 task 라고 볼 수 있습니다. 학계에서는 Long tail data 라는 데이터 개수가 많은 class 부터 아주 적은 class 까지 다양하게 분포하는 데이터셋을 사용하여 class imabalance 문제에서 성능을 비교합니다. 

 

일반적인 해결 방법 ?

Class Imbalance는 데이터가 적은 class 는 데이터가 그 class를 충분히 표현하지 못하기 때문에 학습 시 decision boundary가 데이터가 적은 class 쪽으로 밀리는 경향이 있습니다. 이를 해결하기 위해 전통적으로 Re-sampling, Re-weighting 등의 방법이 존재합니다. Re-sampling은 데이터셋의 밸런스를 맞추기 위해 데이터가 적은 class의 데이터를 augmentation 등을 통해 늘리거나, 데이터가 많은 class의 데이터를 줄이는 방법입니다. 이러한 방법은 일반적인 상황에서 크게 좋은 효과를 거두지 못하고, Re-weighting은 class에 따라 weight update 를 하는 정도의 차이를 둬서 밸런스 있게 학습시키는 방법입니다. Previous work 에서는 class frequency 즉, data가 많은 class 는 weight를 작게 업데이트하고 data가 많은 classs는 weight를 크게 업데이트 하는 방식을 사용합니다. Loss function에서 class frequency의 inverse를 곱하여 모델을 업데이트 하는 방식입니다. 하지만, 이는 데이터가 많은 class 쪽으로 decision boundary 가 너무 많이 밀려 성능이 크게 좋지 못합니다. 

 

Proposed Methods

본 논문에서는 이를 개선하고자 Effective number 라는 방식을 도입합니다.

일반적으로 데이터의 개수가 많아지면, 정보의 양도 많아집니다. 하지만, 데이터가 계~속 쌓이게되면 중복되는(overlap) 정보가 발생하고 이는 딥러닝 모델이 학습 시 큰 이점을 주지 못합니다. 간단히 설명하면 강아지라는 class가 이미지가 1000장 쯤 되니 이미 거의 모든 강아지를 포함하게 된다면 1000장을 넘어서 3000장 5000장을 사용하더라도 정보량이 크게 더 많아지지는 않는다는 것입니다. 이전 연구에서는 이러한 사실을 간과한채 class의 데이터 개수만으로 학습 정도를 조절했습니다. 본 논문에서는 data의 overlap을 수치적으로 측정하는 방법을 제시하고, 이를 Effective number 라고 합니다. 이전 연구에서 class frequency 의 inverse를 loss function에 곱했다면, 본 논문에서 제안하는 방법은 effective number의 역수를 loss function에 곱하여 사용합니다. 즉, 의미있는(effective) 데이터가 많을수록 적게 업데이트 하는 방식이라고 생각하면 됩니다.

 

그런데... 구구절절 본 논문에서 data overlap에 대해 설명하고 수식적으로 증명은 하지만, 실제로 class 별 data의 overlap을 측정하지는 않습니다 (?). 하이퍼파라미터인 베타 값을 사용하여 class의 data가 일정수준을 넘어서면 더 이상 effective한 data가 늘지않는 즉, saturation되도록 설정하는 방식을 사용합니다. 위 Figure 3를 보면 베타 값에 따른 class-balanced term 그래프를 볼 수 있습니다. 베타=0 일 때는 class balanced term 이 적용이 안되는 경우이고, 베타=1인 경우에는 previous work처럼 class frequency로 나눠준 상태입니다. 그 사이의 베타 값은 class의 샘플 수가 많아지다가 어느 순간 saturation 되는 것을 볼 수 있습니다.

 

이 부분이 조금 의아했던게, 사실 class 의 유형에 따라 overlap 되는 수가 다를 것입니다. 왜냐하면 굉장히 단순한 class는 샘플 수가 조금만 있어도 class를 모두 커버해서 금방 overlap이 생길 것이고, deformation이 많은 복잡한 class의 경우에는 꽤 많은 샘플이 있어도 overlap이 안날 수도 있기 때문입니다. 하지만 본 논문에서는 class 유형별 overlap에 대한 차이를 두지는 않고 하이퍼파라미터인 베타 값을 값을 조정하며 특정 샘플 개수 이상에서는 data overlap이 발생하는 것으로 두고 실험을 진행하고 있습니다. 하지만, 굉장히 간단하고 이전 방법에 비해 성능도 좋아지긴 합니다. 

 

아직 이 분야에 대해 자세히 알지 못하고 비교적 오래된 논문이라 현재는 더 효과적인 방법들이 많으리라 생각합니다. 기회가 되면 가장 최근의 논문을 읽어보고 리뷰하도록 하겠습니다.