[논문 리뷰] What If We Only Use Real Datasets for Scene Text Recognition? Toward Scene Text Recognition With Fewer Labels

본 논문은 CVPR 2021에서 발표된 Text Recognition 논문으로, TRBA 모델 ('What is wrong with scene text recognition model comparisons? dataset and model analysis')을 제안한 백정훈 님의 논문이기도 하다.

 

본문 내용

 

Scene Text Recognition (STR) 연구에서는 리얼 데이터가 부족하기 때문에 일반적으로 대규모 합성 데이터셋을 사용하여 학습을 진행한다. 때문에 암묵적으로 리얼 데이터만으로는 STR 모델 학습이 거의 불가능하다는 암묵적인 상식(?)이 있었다고 한다. 하지만 본 논문에서는 이 상식이 STR 연구를 방해했다고 말한다. 본 논문에서는 최근에 축적된 리얼 데이터셋을 통합하고 지정된 실제 데이터만으로 STR 모델이 잘 학습되는 것을 보여준다. 또한 부족한 label을 보완하기 위해 단순한 data augmentation와 semi/self supervised learning 방법을 사용했다고 한다. 

 

리얼 데이터셋만을 사용해서 충분한 성능을 보여주고, 더 적은 수의 label로 STR에 semi/self supervised learning 방법을 적용한 최초의 연구라고 한다. 

 

텍스트 인식 모델 학습을 위한 양질의 데이터를 모으는 것이 상당히 까다롭기 때문에 이 논문의 abstract는 상당히 매력적으로 보인다. TRBA 모델을 제안한 저자이기에 더욱 더 기대하고 논문을 읽어보게 되었다.

 

 

리얼 데이터셋 통합

 

본문의 앞부분은 공개된 리얼 데이터셋 통합에 대한 이야기를 다룬다. IDCAR 대회에서 2015년 부터 IC13, IC15, RCTW, ArT,  LSVT, MLT19, ReCTS 등의 데이터가 계속 축적되어 왔다고 한다. 또한 semi/self supervised learning을 위해 레이블이 지정되지 않은 3개의 데이터셋을 추가로 통합했다. 단어 영역 bbox 마저 없기에 pre-train된 text detector로 단어 영역을 잘라내어 사용했다고 한다. 

 

 

STR with Fewer label

앞서 언급한 것처럼 리얼 데이터가 많이 증가하긴 했지만 여전히 합성 데이터에 비하면 굉장히 적다. 때문에 적은 수의 label 로 STR 성능을 향상시키기 위해 semi/self supervised learning 방법을 도입한다. 

 

 

 

# Semi-supervised Learning

보통 STR의 경우 부족한 데이터를 보완하기 위해 합성 데이터셋을 사용하기 때문에 unlabeled data를 사용하는 연구는 드물다. 본 논문에서는 두 가지의 간단하지만 효과적인 semi-supervised learning 방법을 소개한다.

 

- Pseudo Label (PL) (Figure 5 (a))

1. 레이블이 지정된 데이터로 모델을 학습
2. 학습된 모델을 사용해 레이블이 지정되지 않은 데이터에 대한 예측을 수행하고 pseudo label로 사용
3. 레이블이 지정된 데이터와 pseudo label이 지정된 데이터를 결합하고 이에 대해 모델을 재학습

- Mean Teacher (MT) (Figure 5 (b))

1. 모델과 모델의 카피본을 준비
2. 전자를 student 모델로, 후자를 teacher 모델로 사용
3. 동일한 미니 배치에 2개의 랜덤 augmentation을 적용
4. 하나를 student 모델에, 다른 하나를 teacher 모델에 입력
5. 출력에서 MSE loss를 계산
6. student 모델을 업데이트
7. student 모델의 exponential moving average(EMA)로 teacher 모델을 업데이트

 

# Self-supervised Learning

CV 도메인에서 self-supervised learning은 일반적으로 다음 두 단계로 수행된다. 1) pretext task로  모델을 pre-training 2) 초기화를 위햐 미리 pre-train 된 가중치를사용하여 모델을 main task로 학습. Pretext 작업은 일반적으로 label이 없는 데이터로 수행되고, 모델은 pretext 작업을 학습하여 main task 를 해결하기 위한 더 나은 feature map을 얻게 된다. 본 논문에서는 RoNet과 MoCo를 조사했다고 한다.

 

- RoNet

• pretext task로 이미지의 회전을 예측
• 입력 이미지를 0, 90, 180, 270 도 회전하고 모델이 이미지에 적용된 회전을 인식

 

- MoCo (Momentum Contrast)

• 다양한 pretext task에 적용할 수 있는 contrastive learning 방법으로 모델과 모델의 카피본을 준비해서.... (복잡해서 생략)

 

실험 결과

• 리얼 데이터로 모델을 학습하기 위해 Table 1에 나열된 11개의 리얼 데이터셋으로 학습 
• training 276k, validation 63k의 데이터 사용
• 합성 데이터셋으로의 학습과 비교하기 위해 MJ와 ST 데이터셋의 합을 사용
• Semi/self supervised learning 을 위해 Table 1에 표시한 unlabeled 데이터셋 3개 사용

TRBA 모델의 경우 합성 데이터셋을 사용하여 학습한 경우보다 리얼 데이터셋만을 사용하여 학습한 모델의 성능이 더 좋고, semi/self supervised learning 까지 사용한 경우 모델의 성능이 더욱 증가

 

• Augmentation의 경우 Crop, Rotation, Blur 등이 효과적이지만 TRBA 의 경우 augmentation 자체의 효과가 크지 않은 것 같음
• Semi-supervised 의 경우 PL 방법이 효과적이고, Self-supervised의 경우 RoNet만 CRNN 모델에서 효과적
• 결국 PL + RotNet 조합의 결과를 보여주곤 있지만, TRBA 모델에서는 PL 정도만 효과가 있는 듯 
• 당연한 결과이지만 리얼 데이터가 증가하면서 성능이 향상됨을 보여줌 

 

 

정리

정리 단계에 오니까 생각보다 차분해진다. 사실 논문에서 말하고자 하는 게 너무나 명확하고 간단한데 또 조금 허무하기도 하다. 

 

• 기존의 합성 데이터셋에 의존하던 STR 모델 학습이 사실은 합성 데이터의 1.7% 에 불과한 리얼 데이터만으로 충분한 성능 발휘
• 적은 label을 보완하기 위해 data augmentation과 semi/self supervised learning 방법을 적용하여 성능을 더욱 향상

 

<의문?!>

논문에서 주장하는건 위 두 줄이 전부인데, 사실 합성 데이터셋은 원래 리얼 데이터보다 좋은 데이터는 아니다. 그럼에도 불구하고 활발히 사용한 이유는 데이터를 쉽게 많이 만들 수 있으니까 였고, 당연히 리얼 데이터가 어느정도의 effective한 양에 다다르면 성능은 비슷해질 것임이 분명했다. 물론 합성 데이터의 1.7% 의 양 만으로도 성능이 비슷해진다는 것은 놀라웠다. Few label을 위한 semi/self supervised 방법들은 더욱 아쉬운데 그나마 쓸만해 보이는 PL의 경우 pre-train된 모델의 성능이 어느정도 받춰줘야 성능 향상이 잘 될텐데 라는 의구심이 생긴다. 코드를 뜯어보진 않았지만 논문의 설명에 따르면 CRAFT 모델처럼 pseudo label에 confidence score를 도입해서 label을 soft하게 사용하는 등의 시도도 없는데 과연 정말 잘 동작할지 궁금하다. 또한 영어야 a부터 z까지 몇 개 안되니까 괜찮은데 한국어의 경우 어떨지도 궁금한 포인트이다. 

 

궁금증을 다 해결해주지는 않는 논문이지만 이런 종류의 논문은 해당 분야의 인사이트를 키우게 도와준다. 딥러닝 분야의 논문들은 정말 너무 많이 쏟아져 나오고 있고, 너도 나도 다 '내 방법이 제일 좋은 방법이야'를 소리치고 있는 와중에 무엇이 더 중요하고 효과적인지 검증해보는 연구이기 때문이다.