[NLP] TF-IDF 설명 | 텍스트 데이터 통계적 가중치 계산 | 특정 단어가 문서 내에서 얼마나 중요한지

TF-IDF(Term Frequency-Inverse Document Frequency)

 

TF-IDF는 텍스트 데이터의 정보 검색 및 텍스트 마이닝 분야에서 널리 사용되는 통계적인 가중치 척도이다. TF-IDF는 특정 단어가 문서 내에서 얼마나 중요한지를 측정하는 데 사용되며, 검색 엔진, 문서 분류, 정보 검색, 텍스트 요약 등 다양한 자연어 처리 작업에서 활용된다.

 

TF-IDF는 다음 두 요소(TF, IDF)의 곱으로 계산되는데,

1. TF (Term Frequency, 단어 빈도)

특정 문서 내에서 특정 단어가 얼마나 자주 나타나는지를 측정. 일반적으로 문서 내에서 자주 나타나는 단어일수록 해당 단어의 TF 값은 높으며, TF는 다음과 같이 계산된다.

TF(w) = (특정 단어 w의 문서 내 등장 횟수) / (해당 문서 내 총 단어 수)

 

2. IDF (Inverse Document Frequency, 역문서 빈도)

특정 단어가 얼마나 다른 문서에서 자주 나타나는지를 측정. IDF 값은 특정 단어의 중요성을 반영하며, 다른 문서에서 자주 나타나는 단어일수록 IDF 값은 낮으며 다음과 같이 계산된다.

IDF(w) = log(총 문서 수 / 특정 단어 w를 포함한 문서 수)

 

이때, 로그 함수를 사용하여 IDF 값을 조절하고, 특정 단어가 전체 문서에 나타나지 않을 때 분모가 0이 되는 것을 방지한다.

TF-IDF는 TF와 IDF를 곱하여 계산된다.

TF-IDF(w) = TF(w) * IDF(w)

 

TF-IDF는 주어진 문서와 단어에 대한 중요성을 계산하며, 이 값은 특정 문서에서 특정 단어가 얼마나 중요한지를 나타낸다. 예를 들어, 특정 단어가 한 문서에서 자주 나타나고 다른 문서에서는 드물게 나타나면, 해당 단어의 TF-IDF 값은 상대적으로 높아진다. 이를 통해 문서 간의 단어 중요성 및 유사성을 측정하고 검색 결과를 개선하는 데 사용될 수 있다.

 

TF-IDF를 이용한 문서 유사도 계산

TF-IDF를 사용하여 문서 유사도를 비교하는 일반적인 방법은 다음과 같다.

 

1. 문서 수집 및 전처리

• 비교할 문서들을 수집하고, 텍스트 데이터를 전처리
• 이 단계에서는 토큰화, 소문자 변환, 구두점 및 불용어 제거 등을 수행

 

2. TF-IDF 벡터 생성

• 각 문서를 TF-IDF 벡터로 표현
• 각 문서의 TF-IDF 벡터는 단어의 집합을 특성으로 가짐

 

3. 문서 간 유사도 계산

• 각 문서 간의 유사도를 계산하기 위해 유사성 측정 방법을 선택.
• 일반적으로 코사인 유사도(Cosine Similarity)를 사용
• 코사인 유사도는 두 벡터 간의 각도를 측정하여 유사성을 계산하는 지표
• 두 문서 A와 B 간의 코사인 유사도는 다음과 같이 계산됨 (결과는 -1에서 1 사이의 값을 가지며, 1에 가까울수록 두 문서가 유사하다고 판단)

Cosine Similarity(A, B) = (A 벡터와 B 벡터의 내적) / (A 벡터의 크기 * B 벡터의 크기)

4. 유사도 측정 및 랭킹

• 선택한 유사성 측정 방법을 사용하여 각 문서 쌍 간의 유사도를 계산
• 모든 문서 쌍에 대한 유사도를 계산한 후, 원하는 문서와 비교 대상 문서 간의 유사도를 확인
• 유사도가 가장 높은 비교 대상 문서를 선택하거나, 랭킹을 매기는 등의 작업을 수행

 

이와 같은 방식으로 TF-IDF를 사용하여 문서 간 유사도를 비교할 수 있다. 이를 통해 정보 검색, 문서 클러스터링, 추천 시스템 등 다양한 응용 분야에서 유용한 결과를 얻을 수 있다.

 

 

관련 레포지토리

- TF-IDF 예제 : https://github.com/mayank408/TFIDF

- 문서 유사도 측정 : https://github.com/malteos/awesome-document-similarity