최근에 트랜스포머 모델을 사용할 일이 생겨 딥러닝 프레임워크인 HuggingFace 를 사용해봤다. HuggingFace의 transformers는 다양한 트랜스포머 모델을 제공하고 자체 학습/평가 API를 제공한다. 또한 허깅페이스 모델은 Pytorch, Tensorflow 학습/평가 코드에도 그대로 적용할 수 있을만큼 호환성이 좋다고 알려져 있다. 그래서 pytorch 학습 코드에 모델만 허깅페이스의 트랜스포머로 바꿔서 학습시키면 되니까 간단하겠구나 생각했지만... 생각보다 고려해야할 점들이 있어서 튜토리얼로 정리해 본다. HuggingFace Vision Model 사용 방법 데이터셋 준비 Vision Transformer(ViT) 기반의 이미지 트랜스포머 모델들은 입력 이미지를 위와 같이 패치로 ..

CVPR 2019 에 공개된 논문으로, image classification 등의 vision 분야에서 참고하면 좋을 여러 training 방법론을 정리 및 실험한 논문입니다. Introduction Image classification task에서 성능을 높이기 위해서는 더 좋은 더 큰 network 를 쓰면 되지만, network를 변경하는 것 이외에도 성능을 좌지우지하는 많은 요소들이 존재합니다. 본 논문에서는 ResNet50을 기준으로 network architecture는 크게 변경하지 않고 여러 Trick 들을 실험한 결과를 제공합니다. 결과적으로, 여러 trick들을 적용하면 적용 이전보다 ImageNet Top-1 accuracy가 4% 가량이나 증가한다는 것을 보여줍니다(위의 Table ..