<div id="readability-page-1" class="page"><div>
<article>
<header>


</header>
<nav id="table-of-contents">
<ul>
<li><a href="#ollama-%EC%84%A4%EC%B9%98">Ollama 설치</a></li>
<li><a href="#ollama-%EC%B2%AB-%EC%8B%A4%ED%96%89%ED%95%98%EA%B8%B0">Ollama 첫 실행하기</a></li>
<li><a href="#%EB%A1%9C%EC%BB%AC-llm-%EC%8B%A4%ED%96%89%EC%9D%84-%EC%9C%84%ED%95%9C-%EB%AA%A8%EB%8D%B8-%EC%A4%80%EB%B9%84">로컬 LLM 실행을 위한 모델 준비</a></li>
<li><a href="#m1-%EB%A7%A5%EB%B6%81%EA%B3%BC-rtx-4090%EC%97%90%EC%84%9C-%EA%B0%84%EB%8B%A8%ED%95%9C-%EC%84%B1%EB%8A%A5-%ED%85%8C%EC%8A%A4%ED%8A%B8">M1 맥북과 RTX 4090에서 간단한 성능 테스트</a></li>
<li><a href="#%EA%B7%B8%EB%9E%98%ED%94%BD-%EC%B9%B4%EB%93%9C-%EC%82%AC%EC%9A%A9-%EC%97%AC%EB%B6%80-%ED%99%95%EC%9D%B8">그래픽 카드 사용 여부 확인</a></li>
<li><a href="#%EC%B6%94%EC%B2%9C%EB%AC%B8%EC%84%9C">추천문서</a></li>
</ul>
</nav>
<p>Ollama는 로컬 환경에서 LLM(Large Language Model) 모델을 실행할 수 있도록 도와주는 도구입니다. Ollama는 현재 윈도우, 맥OS, 리눅스 등 메이저 운영체제를 지원하고 있습니다. 로컬에서 LLM 모델을 실행하기 위해서는 LLM 모델을 직접 준비하고, LLM 실행을 위한 개발환경까지 준비해야하지만, Ollama를 사용하면 간단히 LLM 모델들을 실행해볼 수 있습니다. 기본적인 인터페이스는 Docker와 유사하게 구성되어 편리하게 사용할 수 있으며, LLM 모델을 별도로 준비할 필요없이 Ollama에서 직접 다운로드하고 사용할 수 있습니다. <strong>Ollama를 사용해 Llama 3.3, Gemma2, Mistral 등 유명한 모델들을 명령어 하나로 실행해볼 수 있습니다.</strong></p>
<p>이 글에서는 Ollama를 설치하는 방법과, 기본적인 사용법에 대해서 소개합니다. 작은 모델을 사용해볼 예정이니 컴퓨터 사양이 아주 중요하지는 않습니다. (단, 큰 모델을 실행하려면 고사양의 맥북이나 GPU가 필요합니다.)</p>
<h2 id="ollama-설치">Ollama 설치<a href="#table-of-contents">#</a>
</h2>
<p>먼저 Ollama를 설치하기 위해서 공식 웹 사이트에 방문합니다.</p>
<ul>
<li><a href="https://ollama.com/">Ollama - Get up and running with large language models</a></li>
</ul>
<p>메인 페이지 아래 쪽에 보면 Download 버튼이 있는 것을 확인할 수 있습니다.</p>
<figure>
<img src="https://www.lainyzine.com/ko/article/ollama-installation-to-local-llm-model-executionassets/image.png" alt="Ollama 공식 웹사이트" width="1500" height="866" loading="lazy">
</figure>
<p>다운로드 페이지로 넘어가면, 사용하는 운영체제를 선택할 수 있습니다. 자신이 사용중인 운영체제를 선택해 설치를 진행ㅎ바니다. 여기서는 Windows에 설치해보겠습니다.</p>
<figure>
<img src="https://www.lainyzine.com/ko/article/ollama-installation-to-local-llm-model-executionassets/image%203.png" alt="Ollama 다운로드 페이지" width="1500" height="670" loading="lazy">
</figure>
<p>윈도우 버전 설치는, 설치 전용 프로그램으로 진행합니다. Install 버튼을 클릭하면 설치가 진행됩니다.</p>
<figure>
<img src="https://www.lainyzine.com/ko/article/ollama-installation-to-local-llm-model-executionassets/image%202.png" alt="윈도우에서 Ollama를 설치합니다" width="1361" height="1000" loading="lazy">
</figure>
<p>설치가 완료되면, Ollama is running이라는 메시지가 오른쪽 아래에 나타납니다.</p>
<figure>
<img src="https://www.lainyzine.com/ko/article/ollama-installation-to-local-llm-model-executionassets/image%204.png" alt="Ollama 설치가 완료되면 서버가 실행됩니다." width="1064" height="564" loading="lazy">
</figure>
<p>이걸로 설치는 간단히 마쳤습니다.</p>
<h2 id="ollama-첫-실행하기">Ollama 첫 실행하기<a href="#table-of-contents">#</a>
</h2>
<p>Ollama가 실행되면 작업표시줄에서 상태를 확인할 수 있습니다만, 서버로 동작하기 때문에 별도의 GUI 인터페이스가 제공되지는 않는 것으로 보입니다. 서버를 업데이트하거나, 서버 로그를 확인하는 기능만 제공합니다.</p>
<p>Ollama를 실제로 사용하기 위해서는 명령 프롬프트나 윈도우 터미널을 사용해야합니다.</p>
<ul>
<li><a href="https://www.lainyzine.com/ko/article/how-to-install-windows-terminal-powershell-wsl2/">윈도우 터미널(Windows Terminal) 소개 및 사용법</a></li>
</ul>
<p>테스트는 윈도우 터미널의 파워셸에서 진행했습니다. 명령 프롬프트나 파워셸 어느쪽을 사용해도 무방합니다. 먼저 버전 옵션을 사용해 <code>ollama</code>가 정상적으로 설치되었는지 확인해봅니다.</p>
<pre><code>$ ollama --version
ollama version is 0.5.1</code></pre>
<p>Ollama를 인자없이 사용하면 기본적인 사용법과 서브커맨드들을 확인할 수 있습니다.</p>
<pre><code>$ ollama
Usage:
  ollama [flags]
  ollama [command]

Available Commands:
  serve       Start ollama
  create      Create a model from a Modelfile
  show        Show information for a model
  run         Run a model
  stop        Stop a running model
  pull        Pull a model from a registry
  push        Push a model to a registry
  list        List models
  ps          List running models
  cp          Copy a model
  rm          Remove a model
  help        Help about any command

Flags:
  -h, --help      help for ollama
  -v, --version   Show version information

Use "ollama [command] --help" for more information about a command.</code></pre>
<h2 id="로컬-llm-실행을-위한-모델-준비">로컬 LLM 실행을 위한 모델 준비<a href="#table-of-contents">#</a>
</h2>
<p>Ollama를 본격적으로 사용하기 위해서는 먼저 LLM 모델을 준비해야합니다. 이 과정이, 로컬 LLM을 직접 실행해볼 때 가장 어려운 부분이기도 합니다. Ollama에서는, Ollama에서 바로 실행 가능한 모델들을 직접 제공하고 있습니다. 다음 페이제에서 사용가능한 모델 목록을 확인할 수 있습니다.</p>
<ul>
<li><a href="https://ollama.com/search?q=instruct">Ollama - Models</a></li>
</ul>
<figure>
<img src="https://www.lainyzine.com/ko/article/ollama-installation-to-local-llm-model-executionassets/image%205.png" alt="Ollama에서 제공하는 LLM 모델 목록" width="1137" height="1000" loading="lazy">
</figure>
<p>기본적으로 로컬 LLM을 실행하려면 모델 파일, 모델 파일 실행을 위한 실행기와 개발 환경을 직접 준비해야합니다. 하지만 Ollama를 사용한다면 이런 과정 없이, 명령어 하나로 모델을 바로 실행할 수 있습니다.</p>
<p>여기서는 예제로 구글에서 개발한 Gemma2 LLM 모델을 실행해보겠습니다. Ollama에서 제공하는 모델에 대해서는 다음 페이지에서 확인할 수 있습니다.</p>
<ul>
<li><a href="https://ollama.com/library/gemma2:2b">Ollama - gemma2:2b</a></li>
</ul>
<figure>
<img src="https://www.lainyzine.com/ko/article/ollama-installation-to-local-llm-model-executionassets/image%206.png" alt="Image" width="1121" height="1000" loading="lazy">
</figure>
<p>여기서 gemma2는 모델 이름입니다. 또한 태그를 통해서 Gemma2 모델의 다양한 버전들을 제공하고 있습니다. Gemma2 모델의 대표적인 태그는 2b, 9b, 27b가 있습니다. 이는 모델의 파라미터수를 의미하며, 숫자가 클수록 용량도 커지는 것을 확인할 수 있습니다. 또한 각 파라미터 별 instruct 모델, 양자화 모델 등 다양한 태그들을 제공하고 있습니다. 아래는 현재 Ollama의 gemma2 모델에서 지원하는 태그의 일부입니다.</p>
<figure>
<img src="https://www.lainyzine.com/ko/article/ollama-installation-to-local-llm-model-executionassets/image%207.png" alt="Ollama의 gemma2 모델" width="938" height="1000" loading="lazy">
</figure>
<p>여기서는 가장 작은 2b 모델을 사용해보겠습니다. 이 때 모델 이름을 다음과 같이 지정합니다.</p>
<pre><code>&lt;MODEL&gt;:&lt;TAG&gt;</code></pre>
<p>따라서 gemma2 모델의 2b 태그는 아래와 같습니다.</p>
<pre><code>gemma2:2b</code></pre>
<p>이 모델을 로컬에 다운로드 받아보겠습니다. Docker를 사용해봤다면 눈치 채셨을 수도 있겠지만, Ollama는 Docker와 사용법이 아주 비슷합니다.</p>
<pre><code>$ ollama pull gemma2:2b
pulling manifest
pulling 7462734796d6...  13% ▕██            ▏ 217 MB/1.6 GB   46 MB/s     30s </code></pre>
<p>Ollama가 모델 다운로드를 진행합니다.</p>
<p>다운로드가 완료되면 <code>ollama list</code> 명령어로 목록을 확인할 수 있습니다.</p>
<pre><code>$ ollama list
NAME                           ID              SIZE      MODIFIED
gemma2:2b                      8ccf136fdd52    1.6 GB    4 minutes ago
qwen2.5:32b-instruct-q5_K_M    b0936ea364bf    23 GB     25 hours ago
llama3.3:70b-instruct-q2_K     a6f03da15cbc    26 GB     2 days ago</code></pre>
<p>모델의 상세 정보는 <code>ollama show</code> 명령어로 확인하 수 있습니다.</p>
<pre><code>$ ollama show gemma2:2b
  Model
    architecture        gemma2
    parameters          2.6B
    context length      8192
    embedding length    2304
    quantization        Q4_0

  Parameters
    stop    "&lt;start_of_turn&gt;"
    stop    "&lt;end_of_turn&gt;"

  License
    Gemma Terms of Use
    Last modified: February 21, 2024</code></pre>
<p><code>ollama run</code>을 사용해서 모델을 실행해보겠습니다.</p>
<pre><code>$ ollama run gemma2:2b "안녕하세요."
안녕하세요! 👋  무엇을 도와드릴까요? 😊</code></pre>
<p><code>gemma2:2b</code>는 모델 용량이 1.6GB이기 때문에 GPU의 VRAM이 2GB 이상되면 무난하게 실행할 수 있을 것으로 보입니다. VRAM이 부족한 경우 일반 메모리와 CPU를 사용합니다.</p>
<p>여기서는 <code>pull</code>과 <code>run</code>을 별도로 실행했습니다만, <code>pull</code>을 하지 않고 바로 <code>run</code>을 실행해도 동작합니다. Ollama는 자동적으로 모델을 다운로드 받고, 실행까지 진행해줍니다. 이는 Docker의 동작 방식과 같습니다.</p>
<p>예를 들어 최근에 Meta에서 공개한 Llama의 최신 모델인 llama3.3:70b는 다음 명령어 하나로 실행해볼 수 있습니다.</p>
<pre><code>$ ollma run llama3.3:70b "안녕하세요"</code></pre>
<p>단, 이 모델은 모델 크기만 40GB가 넘기 때문에, 상당한 수준의 VRAM과 메모리가 확보되어야 실행이 가능합니다.</p>
<p>여기까지 Ollama를 사용해서 LLM 모델을 실행하는 방법에 대해서 알아보았습니다.</p>
<h2 id="m1-맥북과-rtx-4090에서-간단한-성능-테스트">M1 맥북과 RTX 4090에서 간단한 성능 테스트<a href="#table-of-contents">#</a>
</h2>


<p><code>ollama run</code> 명령어를 실행할 때 <code>--verbose</code> 옵션을 사용하면, 모델의 실행 성능에 대한 정보를 확인해볼 수 있습니다.</p>
<p>다음은 M1 맥북에서 실행한 결과입니다.</p>
<pre><code>$ ollma run gemma2:2b --verbose "긴 답변을 생성해주세요."
...
total duration:       7.355689041s      # 전체 실행시간
load duration:        29.423458ms       # 모델 로드 시간
prompt eval count:    19 token(s)       # 프롬프트 토큰 수
prompt eval duration: 134ms             # 프롬프트 평가 시간
prompt eval rate:     164.18 tokens/s   # 프롬프트 평가 토큰/초
eval count:           410 token(s)      # 답변 토큰 수
eval duration:        7.191s            # 답변 생성 시간
eval rate:            57.02 tokens/s    # 답변 토큰/초</code></pre>
<p>여기서 일반적으로 모델의 실행 속도는 eval rate를 보면 알 수 있습니다. 보통 15token/s 정도가 넘어가면 쾌적하게 사용할 수 있습니다. gemma:2b 모델은 작은 모델이라서 맥북에서도 쾌적하게 실행되는 것을 확인할 수 있습니다.</p>
<p>다음은 RTX4090 GPU로 같은 모델을 실행해본 결과입니다.</p>
<pre><code>$ ollma run gemma2:2b --verbose "긴 답변을 생성해주세요."
...
total duration:       4.7069887s
load duration:        1.6494086s
prompt eval count:    19 token(s)
prompt eval duration: 109ms
prompt eval rate:     201.83 tokens/s
eval count:           590 token(s)
eval duration:        2.946s
eval rate:            200.27 tokens/s</code></pre>
<p>맥북에 비해서 4배정도 빠른 속도를 보여줍니다.</p>
<p>답변 생성 속도는 프롬프트의 길이나 컨텍스트의 길이에 따라도 달라지며, 시스템 환경에 따라서 크게 달라질 수 있습니다. 또한 GPU 환경의 경우 VRAM의 크기를 넘어서는 모델을 실행하는 경우 실행 속도가 현저하게 줄어들 수 있습니다.</p>
<h2 id="그래픽-카드-사용-여부-확인">그래픽 카드 사용 여부 확인<a href="#table-of-contents">#</a>
</h2>
<p>그래픽 카드 사용 여부는 <code>ollama ps</code> 명령어로 확인할 수 있습니다. 이 명령어는 최근에 Ollama로 실행한 정보를 보여줍니다.</p>
<pre><code>$ ollama ps
NAME         ID              SIZE      PROCESSOR    UNTIL
gemma2:2b    8ccf136fdd52    3.6 GB    100% GPU     4 minutes from now</code></pre>
<p>100% GPU를 사용한 것을 확인할 수 있습니다. VRAM을 초과하는 모델을 실행하면 아래와 같이 CPU와 GPU과 함께 사용된 것을 확인할 수 있습니다.</p>
<pre><code>$ ollama ps
NAME                          ID              SIZE     PROCESSOR          UNTIL
llama3.3:70b-instruct-q2_K    a6f03da15cbc    28 GB    18%/82% CPU/GPU    4 minutes from now</code></pre>
<p>또한 윈도우 환경에서 그래픽 카드 사용 여부는 nvidia-smi 명령어로도 확인할 수 있습니다. Ollama 실행 중에 다른 터미널에서 nvidia-smi를 실행해보면 아래와 같이 Processes 영역에 ollama_server.exe 파일이 나타나는 것을 확인할 수 있습니다.</p>
<pre><code>$ nvidia-smi
Mon Dec 16 00:18:59 2024
+-----------------------------------------------------------------------------------------+
| NVIDIA-SMI 566.03                 Driver Version: 566.03         CUDA Version: 12.7     |
|-----------------------------------------+------------------------+----------------------+
| GPU  Name                  Driver-Model | Bus-Id          Disp.A | Volatile Uncorr. ECC |
| Fan  Temp   Perf          Pwr:Usage/Cap |           Memory-Usage | GPU-Util  Compute M. |
|                                         |                        |               MIG M. |
|=========================================+========================+======================|
|   0  NVIDIA GeForce RTX 4090      WDDM  |   00000000:01:00.0  On |                  Off |
|  0%   44C    P3             65W /  450W |   23427MiB /  24564MiB |      3%      Default |
|                                         |                        |                  N/A |
+-----------------------------------------+------------------------+----------------------+

+-----------------------------------------------------------------------------------------+
| Processes:                                                                              |
|  GPU   GI   CI        PID   Type   Process name                              GPU Memory |
|        ID   ID                                                               Usage      |
|=========================================================================================|
|    0   N/A  N/A     23120      C   ...rs\cuda_v12\ollama_llama_server.exe      N/A      |
+-----------------------------------------------------------------------------------------+</code></pre>
<p>그래픽 카드가 정상적으로 사용되지 않는다면, 그래픽 드라이버 재설치 및 작업 관리자 등을 통해 VRAM 사용 여부 등을 확인해보는 걸 추천합니다.</p>
<p>WSL이나 Docker에서 Nvidia 그래픽 카드를 사용하고자 하는 경우 다음 글을 참고해주세요.</p>
<ul>
<li><a href="https://www.lainyzine.com/ko/article/how-to-use-nvidia-gpu-cuda-on-wsl-linux/">WSL에서 NVIDIA GPU 사용하는 방법</a></li>
<li><a href="https://www.lainyzine.com/ko/article/how-to-use-nvidia-gpu-on-windows-docker/">Docker에서 NVIDIA GPU 사용하는 방법</a></li>
</ul>
<h2 id="추천문서">추천문서<a href="#table-of-contents">#</a>
</h2>
<p>Ollama와 직접적인 관계는 없습니다만, Ollama는 Docker의 인터페이스를 차용하고 있습니다. 또한 Ollama를 비롯한 로컬 LLM 실행시에는 Docker도 많이 활용됩니다. Docker 사용법은 다음 글들에서 상세히 소개합니다.</p>
<ul>
<li><a href="https://www.lainyzine.com/ko/article/docker-tutorial/">개발자를 위한 Docker 입문 튜토리얼</a></li>
<li><a href="https://www.lainyzine.com/ko/article/summary-of-how-to-use-docker/">Docker 사용법 총 정리</a></li>
</ul>



</article>
</div></div>

LZ: 프로그래머 가이드

LainyZine

Ollama를 사용하면 간단하게 로컬에서 LLM 모델을 실행해볼 수 있습니다. 이글에서는 Ollama 설치부터 모델 실행까지의 소개합니다.
전체 기사는 이 링크에서 읽을 수 있습니다.

Ollama 설치부터 로컬 LLM 모델 실행까지

댓글