[HuggingFace] Swin Transformer 이미지 분류 모델 학습 튜토리얼

최근에 트랜스포머 모델을 사용할 일이 생겨 딥러닝 프레임워크인 HuggingFace 를 사용해봤다.

 

HuggingFace의 transformers는 다양한 트랜스포머 모델을 제공하고 자체 학습/평가 API를 제공한다. 또한 허깅페이스 모델은 Pytorch, Tensorflow 학습/평가 코드에도 그대로 적용할 수 있을만큼 호환성이 좋다고 알려져 있다. 

그래서 pytorch 학습 코드에 모델만 허깅페이스의 트랜스포머로 바꿔서 학습시키면 되니까 간단하겠구나 생각했지만... 생각보다 고려해야할 점들이 있어서 튜토리얼로 정리해 본다.

 

 

 

HuggingFace Vision Model 사용 방법

 

데이터셋 준비

Vision Transformer(ViT) 기반의 이미지 트랜스포머 모델들은 입력 이미지를 위와 같이 패치로 잘라서 입력 데이터를 구성하게 된다. 위 과정이 모델 자체에 포함된 pytorch 기반의 트랜스포머 모델들도 있지만, 허깅페이스에서는 이미지를 패치화 시키는 클래스와 모델 클래스가 분리되어 있다.

 

때문에 데이터셋 자체를 미리 패치화시켜두고 사용하거나 데이터로더로 배치단위로 입력 데이터를 불러올 때 패치화 시킬 수도 있다.

 

 

학습 및 평가

 

허깅페이스 모델 학습시에는 허깅페이스 자체 학습 API인 Trainer 를 사용할 수도 있고, 허깅페이스 모델을 pytorch 학습 코드로 학습시킬 수도 있다. 다른 모델들과의 비교를 위해 기존 학습 코드에 모델을 추가하는 경우가 아니라면, 개인적으로 허깅페이스 자체 API를 쓰는게 편할 것 같다. 모델 configuration 설정이나 pre-train된 모델을 불러오고 저장하는 코드, metric 관련 함수들이 굉장히 사용하기 편하게 되어있다.

 

 

HuggingFace Swin Transformer 이미지 분류 튜토리얼

 

HuggingFace의 공식 레퍼지토리에 다양한 트랜스포머 모델의 튜토리얼을 제공하고 있는데, 기본적인 학습/평가 코드 해석이 필요하신 분은 아래 튜토리얼을 참고하면 좋을 것 같다.

 

- HuggingFace 공식 튜토리얼 레퍼지토리 : https://github.com/huggingface/transformers/tree/main/examples/pytorch

- 튜토리얼 코드 : https://github.com/ldj7672/Deep-Learning-Model-Tutorials/blob/main/HuggingFace/HuggingFace_SwinT_image_classification.ipynb

 

1. 패키지 다운로드 & 환경 세팅

 

• 우선 HuggingFace의 transformers와 datasets를 설치

 

 

2. 데이터셋 준비

 

• 허깅페이스 홈페이지에 공개되어 있는 데이터셋의 경우 데이터셋 이름을 문자열로 넘겨주면 다운 가능 (튜토리얼에서는 고양이와 개 분류 데이터셋을 사용)
• 데이터셋을 몇개 다운받아 보니 key 값이 일정하지가 않은데 사용 편의를 위해 본인의 룰대로 지정해주고, 인덱스별 레이블을 지정
  • 나중에 모델 인퍼런스 시에 0, 1, 2 등의 숫자가 아닌 '개', '고양이' 같은 레이블을 얻을 수 있음

 

3. HuggingFace 모델 세팅

• 허깅페이스 홈페이지에는 다양한 트랜스포머 모델의 pre-trained 모델이 공개되어 있고, 역시나 다운받아서 바로 사용할 수 있음
• 앞서 설명했다시피 트랜스포머 계열 모델은 CNN 계열 모델과 달리 이미지를 패치로 잘라서 모델에 넣어줘야 하기 때문에 preprocessor와 transformer model 두 가지 다 필요
• 모델 configuration을 수정하면 모델의 여러가지 하이퍼파라미터를 조정할 수 있음

 

 

# 데이터셋 transformation 및 preprocess

• preprocessor의 출력 사이즈는 고정이기 때문에 사이즈에 맞게 데이터셋 transformation을 설정

 

 

# 데이터셋 split 및 transform 적용

• 이제 데이터셋에 transform을 적용시키고, 데이터셋을 잘 선언했는지 이미지와 레이블을 확인

 

 

4. HuggingFace 학습 API 'Trainer' 세팅

• pytorch 학습 코드와 가장 많이 다른 부분인데, TrainingArguemntes로 각종 학습 파라미터를 설정하고 허깅페이스의 자체 학습 API 인 Trainer를 선언
• tokenizer에는 preprocessor를 지정해줘야 이미지를 패치로 잘라서 트랜스포머 모델에 넣어주게 됨

 

*언어 모델이나 멀티 모달 모델의 경우 tokenizer는 문자열을 임베딩하는 역할을 수행합니다.

 

5. 모델 학습

Trainer 를 사용하면 코드가 정말 간결해짐. 위 코드만 실행하면 학습이 완료되고 지정한 metric에 따라 아래와 같이 학습 결과도 출력된다.

 

6. 모델 평가

모델 evaluation 또한 Trainer를 사용하면 굉장히 간편하게 수행할 수 있다.

 

 

7. 모델 인퍼런스

• 허깅페이스 모델의 경우 모델을 저장하면 모델 정보가 담긴 json 파일과 모델 웨이트가 저장된 bin파일이 저장
• preprocessor 의 경우 pre-train된 것을 그대로 사용하고 Swin Transformer의 경우에는 방금 학습한 모델이 저장된 디렉토리를 from_pretrained()에 넘겨줘서 학습된 모델을 불러옴

 

모델 인퍼런스 시에도 역시나 이미지를 패치화하기 위해 preprocessor에 먼저 통과시켜서 트랜스포머 입력을 만들고 모델에 인퍼런스 시켜서 최종 예측 결과를 확인한다.

 

... 고양이인데 2 에폭만 학습시켜서 그런지 강아지라고 인식한다.. ㅎㅎ