[NLP] BERT 간단 설명 | Bi-Directional LM | 양방향 언어 모델

BERT(Bidirectional Encoder Representations from Transformers)

BERT는 자연어 처리 (NLP) 분야에서 혁신적인 모델 중 하나로, 구글이 개발해 2018년에 공개되었다. BERT는 이전의 NLP 모델보다 더 탁월한 성능을 제공하여 다양한 자연어 처리 작업에서 상위 성과를 이루어 냈다. 이 모델은 특히 사전 훈련된 언어 모델을 사용하여 다른 NLP 작업에 적용할 수 있는 다목적 모델로 주목받았다.
 
논문 제목은 아래와 같으며 피인용수는 약 8만회(23년 9월 기준)로 이제는 LM 분야에서 정말 기본이 되는 연구라고 할 수 있다.

• paper : BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
• 논문 : https://arxiv.org/pdf/1810.04805
• 참고 자료 : https://www.youtube.com/watch?v=30SvdoA6ApE

 

Transformer Encoder & Decoder

• 기본적인 트랜스포머의 인코더는 양방향으로 텍스트를 이해하고 디코더는 왼쪽에서 오른쪽으로 문맥을 이해한다.(상관관계를 추출)
• 문장이 단어 단위로 쪼개져 한번에 인코더의 인풋으로 들아가서 self-attention을 취하기 때문에 단어 간의 관계를 한번에 추출하므로 양방향으로 텍스트를 이해하는 것
• 디코더에서는 인코더의 토큰별 아웃풋이 하나씩 디코더의 인풋으로 들아가서 결과를 출력하는 구조

 

Traditional LM vs Bidirectional LM

• 인코더-디코더의 특징에 맞게 단방향(Traditional) LM은 여러 단어가 입력으로 들어오면 다음 단어를 예측하도록 학습할 수 있음
• Bidirectional(양방향) LM은 여러 단어가 입력으로 들어오고 그 중에 가려진 단어를 예측하도록 학습 가능
• 즉, 양방향으로 상관관계를 추출하는 모델이기 때문에 가려진 단어 앞뒤의 문맥을 보고 가려진 단어를 잘 예측할 수 있는 것이 장점

 

BERT 의 Input 구조

BERT 의 입력 구조는 토큰 임베딩, 세그먼트 임베딩, 포지션 임베딩 세 가지의 합과 스페셜 토큰인 [CLS], [SEP] 으로 구성된다.

• 토큰 임베딩 : 문장을 단어의 의미 단위로 끊어서 임베딩한 결과
• 세그먼트 임베딩 : 문장 별 인덱스. BERT 는 2개의 문장도 입력으로 받을 수 있기 때문에 이를 구별하기 위함
• 포지션 임베딩 : 토큰별(단어별) 상대적 위치. 0~1 사이 값으로 문장 하나가 길더라도 모두 커버할 수 있게
• [CLS] : 분류 테스크를 위한 토근으로 문장 전체가 임베딩된 스페셜 토큰
• [SEP] : 두 문장을 입력으로 받는 경우 이 토큰을 기준으로 두 문장을 구분

 
BERT 는 WordPiece embedding 이라는 방법을 사용해서 문장을 토큰 단위로 끊는데, 이는 단순히 띄워쓰기 단위로 끊는 것보다 효과적인 방법이다.  접두사, 접미사 같은 경우는 많이 사용되고 붙었을때 어떤 의미를 지니므로 새로운 단어가 나왔을 때도 뜻을 유추할 수 있는 장점이 생기는 방법이라 볼 수 있다. 예를 들어 playing 이라는 단어는 play 와 ing 로 토큰을 나눈다.
 
 

BERT Training

BERT의 학습 과정은 Pre-training → Fine-tuning 두 가지 단계로 나뉜다.
 
GPT와 비교하면 GPT는 초거대 모델로 모델 크기가 상당히 크고 학습시키기 어렵지만 한 번 학습해두면 여러 NLP 작업에 사용가능한 모델이고, BERT 의 경우 가려진 단어(마스킹된 토큰)를 예측하는 방법으로 문맥을 이해하도록 pre-training 시킨 다음, 각 NLP 테스크에 맞는 방법으로 fine-tuning 시켜줘야 한다.
 
때문에, BERT는 pre-training된 모델을 받아서 어떻게 fine-tuning 시켜서 쓰는지가 중요한 부분이다.
 

# BERT Pre-training

• 문장이 입력으로 들어오고 토큰으로 쪼갠 뒤 랜덤하게 단어를 가리고(토큰을 마스킹하고) 이를 예측하는 방법으로 학습
• 때문에 (단방향 LM 모델도 그렇긴 하지만) BERT를 pre-training시키기 위한 학습 데이터의 GT 는 따로 필요하지 않음

 

# BERT Fine-tuning

Pre-training 을 마친 BERT 모델은 테스크에 맞는 작업을 수행하기 위헤 fine-tuning 을 해줘야 하는데 논문에서는 아래와 같은 4개의 NLP 테스크를 소개한다.

• (a) 두 문장을 인풋으로 넣고 두 문장의 관계를 예측
• (b) 한 문장을 인풋으로 넣고 어떤 문장인지 예측
• (c) 질문-답 두 문장을 인풋으로 넣고 작문 속 정답의 시작, 끝 인덱스를 예측
• (d) 한 문장을 인풋으로 넣고 토큰별 태깅을 예측

 

---

BERT가 처음 공개되었을 때만 해도 사용하기 쉽지 않은 연구용 ML 모델로 취급받기도 했지만, 19년 구글은 검색 기능에 BERT를 활용해 검색 결과를 개선했고, 23년인 지금은 BERT를 활용한 다양한 유즈케이스(언어 번역, 텍스트 요약, 추천 시스템 등,...)를 접할 수 있다.