[LLM] RAG 설명 및 실습 | OpenAI 모델과 ChromaDB를 이용한 RAG 실습

안녕하세요! 뭅즤입니다.

 

이번 포스팅에서는 OpenAI의 Chat API와 ChromaDB를 활용한 RAG(Retrieval-Augmented Generation)에 대해 설명드릴게요. 실습 코드도 있답니다 😊

 

RAG는 외부 데이터와 언어 모델을 결합해 좀 더 정확하고 맥락에 맞는 답변을 생성하는 데 도움이 돼요 🤗

---

📌 RAG (Retrieval-Augmented Generation)

RAG는 Retrieval-Augmented Generation의 약자로, 정보 검색과 생성형 AI를 결합한 방법이에요. GPT와 같은 언어 모델은 자체적으로 다양한 지식을 가지고 있지만, 최신 정보나 특정 도메인에 대한 상세한 내용을 알지 못할 때도 있어요. 이런 경우를 해결하기 위해 RAG를 사용해요.

• Retrieval: 주어진 질문에 대해 외부 데이터베이스에서 관련 정보를 검색하는 과정이에요. 이 단계에서는 검색된 문서나 텍스트 조각이 답변을 생성하는 데 사용돼요.
• Augmented Generation: 검색을 통해 얻은 정보를 언어 모델에 추가하여 더 정확하고 맥락에 맞는 답변을 생성하는 과정이에요.

 

✅ 왜 RAG를 사용하나요?

1. 최신 정보 제공: 언어 모델 자체가 갖고 있는 지식은 훈련 시점 이후의 정보가 업데이트되지 않기 때문에, 최신 정보를 검색하여 활용할 수 있어요.
2. 정확한 도메인 지식: 특정 분야나 전문 지식을 포함하는 데이터베이스를 참조해 보다 정확한 답변을 얻을 수 있어요.
3. 지식 확장: 언어 모델이 직접 훈련되지 않은 내용도 외부 문서를 검색하고 참조하여 답변할 수 있어요.

 

✅ RAG의 전체적인 흐름

1. 문서 준비: 사용자가 원하는 정보가 담긴 문서를 준비해요. 이 문서가 데이터베이스에 저장될 자료가 돼요.
2. 문서 임베딩: ChromaDB를 사용해 준비된 문서를 벡터 임베딩하여 저장해요.
3. 질문 임베딩 및 검색: 사용자가 질문을 입력하면, 해당 질문도 벡터로 임베딩되어 ChromaDB에 저장된 문서들과 유사도를 비교해요.
4. 문서 결합 및 답변 생성: 검색된 문서와 함께 사용자의 질문을 언어 모델에 입력해 답변을 생성해요. 이렇게 하면 보다 정확한 정보를 기반으로 답변을 생성할 수 있어요.

---

📌 ChromaDB의 역할

ChromaDB는 RAG를 구현할 때 중요한 요소인 검색 데이터베이스 역할을 해요. 쉽게 말해, 사용자가 질문할 때 참고할 수 있는 지식 저장소인 거죠! 🗂️

• 문서 임베딩: ChromaDB는 문서를 벡터로 변환하고 저장해요. 이 벡터는 문서의 의미를 담고 있어 검색 단계에서 활용돼요. 문서 임베딩은 OpenAI의 임베딩 모델이나 다른 임베딩 모델을 사용해 만들 수 있어요.
• 유사도 검색: 사용자가 질문을 할 때, 질문에 대한 임베딩을 생성하고 저장된 문서 임베딩과 비교하여 가장 관련성 높은 문서를 찾아요.
• 임시 및 영구 저장: ChromaDB는 메모리 기반으로 동작할 수도 있고, 영구적으로 문서를 저장해둘 수도 있어요.

임베딩은 텍스트를 수치 벡터로 변환하는 작업을 의미해요.

ChromaDB는 각 문서를 임베딩한 후 저장하고, 사용자의 질문을 임베딩하여 그 벡터와 가장 유사한 문서를 찾아내요. 이 과정이 문서 검색 단계에서 핵심 역할을 해요. 💡

---

 

📌 RAG 코드 실습

자! 이제 실습인데요! 이번 실습은 OpenAI의 언어 모델과 ChromaDB를 사용해서 간단한 RAG 기능을 구현합니다. 참조 데이터는 웹 페이지를 html로 저장해서 사용하는 방식으로 구현했으니, 여러분이 참조 데이터로 사용하고 싶은 웹페이지를 html 파일로 저장면 해두면 바로 실습해 볼 수 있어요!

 

LLM-Tutorials/OpenAI/OpenAI_RAG_ChatAPI.ipynb at main · mov-z/LLM-Tutorials

 

 

아래에서 설명하는 코드는 중요한 부분만 설명하니, 실습 전체 코드는 위 Colab 을 참고 부탁드려요 !

 

✅ 참조 데이터 HTML 파일로 저장하기

 

• RAG 참조 데이터로 사용하고 싶은 웹페이지에 들어가 페이지를 HTML 파일로 저장해 두고,
• 구글 드라이브에 업로드해두면 실습에 활용할 수 있습니다.

 

✅ 필요 함수 선언 

# HTML 파일에서 텍스트 추출 함수
def extract_text_from_html(html_path):
    with open(html_path, 'r', encoding='utf-8') as file:
        soup = BeautifulSoup(file, 'html.parser')

        # 모든 텍스트를 추출하며, 필요에 따라 특정 태그를 대상으로 수정할 수 있음
        text = ' '.join(soup.stripped_strings)
    return text

# 텍스트를 길이에 따라 자연스럽게 분할하는 함수
def smart_chunk_splitter(text, max_chunk_size=500):
    sentences = text.split('. ')
    chunks = []
    current_chunk = ""

    for sentence in sentences:
        if len(current_chunk) + len(sentence) + 1 <= max_chunk_size:
            current_chunk += sentence + '. '
        else:
            chunks.append(current_chunk.strip())
            current_chunk = sentence + '. '

    if current_chunk:  # 남아 있는 텍스트 추가
        chunks.append(current_chunk.strip())

    return chunks

# 프롬프트 생성 함수
def create_chat_prompt(system_prompt, user_query, context_documents):
    # context_documents가 중첩 리스트일 경우 평탄화
    if isinstance(context_documents[0], list):
        context_documents = [item for sublist in context_documents for item in sublist]

    return [
        {'role': 'system', 'content': system_prompt},
        {'role': 'user', 'content': f"""
            Context:
            {" ".join(context_documents)}

            Context를 참조해서 아래 질문에 답해주세요.

            Question:
            {user_query}

            Answer:
        """}
    ]

# OpenAI API를 통한 응답 생성 함수
def generate_response(system_prompt, user_query, context_documents):
    response = client.chat.completions.create(
        model=GPT_MODEL,
        messages=create_chat_prompt(system_prompt=system_prompt, user_query=user_query, context_documents=context_documents),
        max_tokens=1500  # 필요한 만큼 토큰 수 조정
    )
    return response.choices[0].message.content

# RAG 기반 응답 생성 함수
def chat_with_rag(system_prompt, user_query):
    query_result = corpus_collection.query(query_texts=[user_query], n_results=8)
    print(query_result['documents'])
    response = generate_response(system_prompt, user_query, query_result['documents'])
    return response

• extract_text_from_html : HTML 파일에서 텍스트를 추출
  
  • 실습에서는 RAG 참조 데이터를 HTML 파일에서 텍스트를 추출해서 사용합니다.
  • PDF 파일을 읽거나 직접 텍스트를 입력하는 등의 다양한 방법을 고려해 볼 수 있습니다.
• smart_chunk_splitter : 텍스트 길이에 따라 분할하는 함수
  • 실습에서는 가장 간단하게 텍스트의 길이에 따라 chunk를 분할하는 방법을 사용했어요.
  • 실제로는 조금 더 스마트한 방법들이 존재합니다.
• create_chat_prompt : 프롬프트 생성 함수
• generate_response : OpenAI API 응답 생성
• chat_with_rag : RAG 기반 응답 생성 함수

 

✅ 모델 선언

# models
EMBEDDING_MODEL = "text-embedding-3-small"
GPT_MODEL = "gpt-4o-mini"

# ChromaDB 임베딩 함수 초기화
embedding_function = OpenAIEmbeddingFunction(
    api_key=os.getenv("OPENAI_API_KEY"),
    model_name=EMBEDDING_MODEL
)

client = OpenAI()

• RAG 검색에 활용할 텍스트 임베딩 모델과 사용할 LLM 을 선언
• ChromaDB의 임베딩 함수 초기화 진행

 

✅ RAG 참조 데이터 세팅

# HTML 파일 경로
html_path = "/content/drive/MyDrive/코드 예제/LLM/ref_docs/KBO_리그.html"

# 텍스트 추출 및 분할
text = extract_text_from_html(html_path)
chunks = smart_chunk_splitter(text, max_chunk_size=2000)

# 분할된 텍스트 출력
for i, chunk in enumerate(chunks):
    print(f"Chunk {i+1}:\n{chunk}\n")
    
# ChromaDB 클라이언트 및 컬렉션 초기화
chroma_client = chromadb.Client()  # 메모리 기반 상태로 실행
corpus_collection = chroma_client.create_collection(
    name='KBO',
    embedding_function=embedding_function
)

# 각 텍스트 청크를 컬렉션에 추가
for i, chunk in enumerate(chunks):
    corpus_collection.add(ids=[str(i)], documents=[chunk])

 

- HTML 파일에서 텍스트 추출하기

• 웹 페이지에서 필요한 정보를 가져오기 위해 HTML 파일에서 텍스트를 추출
• 이때 BeautifulSoup 라이브러리를 사용해 HTML 구조를 파싱하고, 텍스트를 추출해요.

 

- 텍스트 분할 (Chunking)

• OpenAI 모델은 입력 길이에 제한이 있기 때문에, 긴 텍스트를 적절하게 분할하는 과정이 필요해요.
• smart_chunk_splitter 함수는 문장을 기준으로 텍스트를 자연스럽게 나누는 역할을 해요.

 

- ChromaDB 설정 및 데이터 추가

• ChromaDB는 RAG 구현에서 중요한 역할을 하는 데이터베이스로, 문서 임베딩을 저장하고 검색해요.
• 여기서는 OpenAI의 임베딩 모델을 사용해요.
• ChromaDB 클라이언트를 메모리 기반 상태로 실행하고, 임베딩 함수를 사용해 컬렉션을 생성해요.
• 앞서 추출하고 분할한 텍스트를 ChromaDB에 추가해요.

 

✅ RAG 기반 응답 생성

# system prompt 설정
system_prompt = "KBO 관련 질문에 사실 기반으로 답변하는 어시스턴트입니다."

# 예제 질문에 대한 RAG 응답 생성
user_query = "KBO 구단별 매출에 대해 간략하게 요약해줘"
response = chat_with_rag(system_prompt, user_query)
print(response)

 

• 앞서 선언한 함수를 사용하여, 사용자 질문에 맞는 문서를 ChromaDB에서 검색하고, 해당 문서와 함께 OpenAI 모델을 사용해 답변을 생성하는 과정이에요.
• 이 함수를 호출하면 ChromaDB에서 관련 문서를 찾고, 그 문서를 기반으로 OpenAI 모델이 답변을 생성해요. 

 

실습 결과

 

실제로 실습해 보면 위와 같이 참조 데이터에 기반한 응답을 생성하는 것을 확인할 수 있어요!😃

---

 

이렇게 RAG 기능과 ChromaDB를 이용해 OpenAI 모델의 성능을 한층 더 향상시킬 수 있어요. 여러분만의 참조 데이터를 만들어서 특정 데이터에 특화된 챗봇을 만들어보면 어떨까요!?

 

더 자세한 내용이나 추가적인 코드 설명이 필요하면 언제든지 알려주세요! 😊