[논문 리뷰] What Is Wrong With Scene Text Recognition Model Comparisons? Dataset and Model Analysis

본 논문은 ICCV 2019에서 Naver Clova가 발표한 Text Recognition 논문이다. (공식 레퍼지토리)

 

제안하는 내용

기존의 정리되어 있지 않던 STR(Scene Text Recognition) dataset을 정리하고 STR 을 4단계로 나누어 정립했다.

논문에서 제안한 STR 4단계는 아래와 같고, 각 단계의 모듈별 기여도를 실험을 통해 제공하고 있다.

 

• Transformation Stage : TPS(Thin-Plate Spline)이라는 STN(Spatial Transformation Network)와 유사한 방법으로 이미지 노멀라이즈 (왜곡되어 있는 텍스트를 인식 모델이 가장 인식하기 쉬운 형태로 변환)
• Feature Extraction Stage : 일반적인 CNN 아키텍처. VGG, RCNN, ResNet 을 비교했고 ResNet 이 성능이 가장 좋음
• Sequence Modeling Stage : CNN으로 추출한 feature 들의 순차적인 상관관계를 추출하기 위한 스테이지. BiLSTM 사용
• Prediction Stage: CTC 보다 Attn(Attention-based sequence prediction) 방법이 성능이 높음. Attn 사용시 attention 베이스 이기 때문에 가려지거나 누락된 문자를 예측할 때 도움이 됨

가장 성능이 좋은 모델은 TPS-ResNet-BiLSTM-Attn 을 사용한 모델로 앞 글자를 따서 TRBA 모델이라 부르고 있다.

 

데이터셋 및 실패 케이스 분석

이 논문은 사실 제안하는 내용은 심플하지만 'Text Recognition' 이라는 주제를 굉장히 명확하게 정의하고 데이터셋, 텍스트 인식 알고리즘, 텍스트 인식의 어려운 점 등을 상세히 설명해주기 때문에 텍스트 인식이라는 주제를 처음 접할 때 아주 유용하다.

 

• 데이터셋을 regular, irregular 데이터셋으로 분리
• 인식 실패 케이스를 다양한 케이스로 분리 (어려운 글씨체, 세로 텍스트, 특수 문자, 가려짐,...)
  • 여기서 언급된 실패 케이스 하나 하나가 세부 연구 주제라서 관련 논문을 찾으면 자료가 많다

 

 

실험 결과

• 네 가지 모듈를 각각 적용한 실험 결과를 제공
• 네 가지 모듈을 모두 적용하는 것이 성능은 가장 좋지만, trade-off curve를 보며 상황에 맞는 모델을 선정할 수 있다
  • 속도를 생각하면 prediction stage에서 Attn 보다는 CTC를
  • 메모리를 생각한다면 feature extraction stage에서 ResNet 보다는 CRNN을 선택하는 것이 현명할 수 있음

 

분석 & 내 생각

• 2019년 기준 상당히 우수한 성능이지만 2023년 기준 ICDAR2015 데이터셋에서의 벤치마크는 17위
• 하지만 성능이 높은 모델의 경우 vision 모델에 language 모델이 결합된 경우가 많고, vision 모델 만으로 심플하게 텍스트 인식을 수행하는 모델 중 가장 나이스한 모델이라 생각
• TPS 모듈의 경우 한글 데이터셋으로 테스트 시 그다지 효과를 보지 못함. 관련된 내용이 있는지 찾아봐야 -