[오픈 소스] BERT를 이용한 한국어 개체명 인식 | NER (Named Entity Recognition)

 

 

NER(Named Entity Recognition)

 

Named Entity Recognition (NER)은 자연어 처리 기술 중 하나로, 문장 내에서 특정한 유형의 명칭(개체)을 인식하는 작업이다. 예를 들어, "Steve Jobs는 Apple의 창업자입니다" 라는 문장이 있다면, "Steve Jobs"는 인물(person), "Apple"은 조직(organization)이라는 유형의 개체로 인식된다. 이외에도 장소, 시간 등 다양한 개체를 인식할 수 있다.

 

이러한 NER은 정보 추출, 질의 응답, 리뷰 분석, 기계번역 등 다양한 곳에서 활용될 수 있다. 전혀 생각하지 못했던 활용처는 기계번역 분야이다. 영어를 한국어로 번역할 때 기업을 지칭하는 "Apple"은 "사과"가 아닌 "애플"로 번역해야 한다. 이렇듯 문맥에 맞는 올바른 번역을 위해서는 문장의 컨텍스트 속에서 단어의 개체명을 파악해야 하는 것이다. 

 

 

Pytorch-BERT-CRF-NER

추천하는 레퍼지토리에서는 pytorch를 사용했으며 SKTBrain에서 한국어로 학습시킨 BERT 모델인 KoBERT 모델을 학습에 사용했다고 한다. NER을 활용한 간단한 응용을 위해서는 학습된 모델을 그대로 사용해볼 수도 있다.

 

 

 

- 한국어 NER : https://github.com/eagle705/pytorch-bert-crf-ner

GitHub - eagle705/pytorch-bert-crf-ner: KoBERT와 CRF로 만든 한국어 개체명인식기 (BERT+CRF based Named Entity Recogn

- SKTBrain KoBERT : https://github.com/SKTBrain/KoBERT

GitHub - SKTBrain/KoBERT: Korean BERT pre-trained cased (KoBERT)