[LLM] Ollama: 로컬에서 LLM을 실행하는 가장 쉬운 방법 | ollama 사용 방법

요즘은 허깅페이스, 랭체인 등의 프레임워크 덕에 LLM을 사용하는 방법이 정말 다양하고 편리해졌어요. 하지만 여전히 클라우드 기반의 복잡한 설정이나 높은 비용 때문에 고민하는 분들도 많죠. 이럴 때 도움이 되는 플랫폼이 바로 Ollama입니다. Ollama는 사용자가 클라우드 없이도 로컬에서 간편하게 대형 언어 모델을 실행할 수 있도록 도와줘요. 그리고 데이터 프라이버시를 지키면서도 뛰어난 성능을 제공하니, AI 기술을 보다 쉽게 접근할 수 있도록 해준답니다.

---

 

📌 주요 기능

• 로컬에서 모델 실행 : Ollama는 LLM을 로컬 컴퓨터에서 직접 실행할 수 있게 해줘요. 덕분에 클라우드 서비스를 사용하지 않아도 되고, 데이터가 외부로 나가지 않으니 프라이버시를 지킬 수 있어요.
• 사전 학습된 모델 제공 : Ollama는 이미 학습된 다양한 모델을 제공해서, 사용자는 텍스트 생성, 번역, 요약 등 여러 작업을 쉽게 할 수 있어요. 복잡한 설정 없이도 바로 사용 가능한 점이 정말 편리하죠.
• 사용하기 쉬운 인터페이스 : Ollama는 직관적인 인터페이스를 제공해서 개발자뿐만 아니라, AI 초보자도 손쉽게 모델을 사용할 수 있어요. 복잡한 기술 없이도 바로 시작할 수 있다는 게 큰 장점이에요.
• 데이터 프라이버시 보장 : Ollama는 로컬에서 모델을 실행하기 때문에, 사용자 데이터가 외부로 유출되지 않아요. 민감한 정보도 안전하게 처리할 수 있어서, 데이터 보안이 중요한 분들에게 안성맞춤이에요.

---

📌 실습 - 터미널

1.  ollama 다운로드

Download Ollama on macOS

 

• 다운로드는 위 링크에서 OS에 맞는 방법으로 간단하게 할 수 있어요.
• 리눅스에서도 간단한 명령어 한 줄로 다운로드할 수 있답니다.

 

2.  모델 다운로드

ollama pull llama3.1
ollama run llama3.1

 

• 가장 간단한 사용법은 터미널을 이용하는 방법이에요.
• 위와 같이 ollama pull {model} 명령어를 사용하면 다양한 모델을 로컬에 다운로드할 수 있어요.
• ollama pull {model}로 먼저 모델을 다운로드하고, ollama run {model}로 대화를 시작할 수 있는데
• ollama run {model} 명령어로 모델 다운로드, 대화 시작을 한번에 수행할 수도 있답니다.

 

 

• ollama run을 실행하면 위와 같이 모델 다운로드를 시작 해요.
• 굉장히 가벼운 모델인 llama3.1 8B 버전을 다운로드 해보고 있네요 ㅎㅎ
• 이 정도 모델이 일반적으로 GPU 없는 컴퓨터에서도 가볍게 테스트 해보기 좋습니다.

 

3.  대화 시작

• 모델 다운로드가 완료되면 위와 같이 메세지를 보낼 수 있는 창이 뜨는데요.
• 저는 '안녕' 이라고 보내고, '파이썬 언어에 대해 설명해줘' 라고 물어봤네요
• 굉장히 가벼운 모델이라 답변도 빠르게 되지만, 사실 조금 쓰다보면 답변 수준이 그리 좋지 않습니다. ㅎㅎ 

 

📌 실습 - 파이썬

import ollama
response = ollama.chat(model='llama3.1', messages=[
  {
    'role': 'user',
    'content': 'Why is the sky blue?',
  },
])
print(response['message']['content'])

• 파이썬에서도 아~주 간단하게 ollama를 사용해 볼 수 있어요.
• pip install ollama로 패키지를 설치하고
• 위와 같이 아주 간단한 코드로 LLM으로 대화를 주고 받을 수 있습니다.
• 아래는 'Why is the sky blue?' 라는 질문에 답변한 내용이에요.

 

📌 사용 가능 모델

 

GitHub - ollama/ollama: Get up and running with Llama 3.1, Mistral, Gemma 2, and other large language models.

 

• 사용할 수 있는 모델에 대한 정보는 위 ollama 깃헙에 들어가시면 확인하실 수 있어요.
• 일반적으로 가벼운 환경에서는 메타의 llama3.1 8B, 구글의 Gemma2를 많이들 사용하신다고 하네요.
• 한국어 대화의 경우 Gemma 2 27B가 괜찮다는 소문이...
• Nvidia A100 40G 사용시 llama3.1 70B까지 올라가긴 하네요 ㅎㅎ

---

LLM을 공부하다 보면 대부분 먼저 OpenAI의 ChatGPT 같은 모델을 접하게 되고, RAG나 Function Calling 같은 다양한 기법을 쉽게 테스트할 수 있죠. 하지만 도메인 특화 모델을 만들려면 결국 해당 도메인의 데이터를 활용해 모델을 파인튜닝하거나, 보안을 유지하면서 RAG 기법을 사용해야 하는 경우가 많아요. 이럴 때, 로컬에서 모델을 구동할 수 있는 Ollama는 간단하게 테스트해보기 좋은 플랫폼이에요.

 

여러분도 Ollama로 직접 로컬에서 AI 모델을 사용해 보시고, 더 좋은 사용 사례가 있다면 댓글로 공유해 주세요! 😃