<div id="readability-page-1" class="page"><div>
<article>
<header>


</header>
<nav id="table-of-contents">
<ul>
<li><a href="#ollama%EC%99%80-llama.cpp-%EB%B9%84%EA%B5%90">Ollama와 llama.cpp 비교</a></li>
<li><a href="#llama.cpp-%EB%B9%8C%EB%93%9C%ED%95%98%EA%B8%B0">llama.cpp 빌드하기</a></li>
<li><a href="#llm-%EC%8B%A4%ED%96%89%EC%9D%84-%EC%9C%84%ED%95%9C-%EB%AA%A8%EB%8D%B8-%EC%A4%80%EB%B9%84">LLM 실행을 위한 모델 준비</a></li>
<li><a href="#llama.cpp%EB%A1%9C-llm-%EC%8B%A4%ED%96%89%ED%95%98%EA%B8%B0">llama.cpp로 LLM 실행하기</a></li>
<li><a href="#%EB%A7%88%EC%B9%98%EB%A9%B0">마치며</a></li>
</ul>
</nav>
<p>로컬 환경에서 LLM(Large Language Model)을 실행하기 위해서는, 실행하려는 모델과 실행기가 필요합니다. Ollama와 같은 도구를 사용하면 가장 쉽게 로컬 환경에서 다양한 LLM 모델을 실행해볼 수 있습니다. 하지만 개발환경을 구성하거나, 다양한 옵션들을 최적화하기 위해서는 llama.cpp나 exllamav2와 같은 고성능 LLM 실행기를 직접 실행할 필요가 있습니다.</p>
<p>이 글에서는 리눅스와 윈도우 WSL 환경에서 lamma.cpp 실행환경을 직접 구축하고 실행하는 방법을 알아봅니다.</p>
<h2 id="ollama와-llama.cpp-비교">Ollama와 llama.cpp 비교<a href="#table-of-contents">#</a>
</h2>
<p>본격적으로 llama.cpp를 사용하기에 앞서, Ollama와 llama.cpp의 주요 특징을 비교해보겠습니다:</p>
<table>
<colgroup>
<col>
<col>
<col>
</colgroup>
<thead>
<tr>
<th><strong>특징</strong></th>
<th><strong>Ollama</strong></th>
<th><strong>llama.cpp</strong></th>
</tr>
</thead>
<tbody>
<tr>
<td><strong>특징</strong></td>
<td>간단히 LLM 실행 및 API 제공. 다양한 모델 제공, CLI 제공</td>
<td>LLM 모델을 CPU와 GPU에서 실행할 수 있도록 경량화된 C++ 구현체.</td>
</tr>
<tr>
<td><strong>언어</strong></td>
<td>Go</td>
<td>C++</td>
</tr>
<tr>
<td><strong>설치</strong></td>
<td>간단</td>
<td>C++ 컴파일 필요, 빌드 단계 포함</td>
</tr>
<tr>
<td><strong>CLI 지원</strong></td>
<td>직관적 CLI 제공</td>
<td>CLI 제공(옵션 많음, 복잡함)</td>
</tr>
<tr>
<td><strong>API 기능</strong></td>
<td>API 제공</td>
<td>없음</td>
</tr>
<tr>
<td><strong>추론 속도</strong></td>
<td>상대적으로 빠름 (GPU 가속을 기본으로 사용)</td>
<td>빠름</td>
</tr>
<tr>
<td><strong>양자화</strong></td>
<td>지원</td>
<td>지원</td>
</tr>
</tbody>
</table>
<p>간단하게 LLM 모델을 실행해보려면 Ollama를 사용해보는 걸 추천합니다. Ollama는 Docker와 비슷한 CLI 인터페이스를 제공하고, 모델을 ollamahub에서 직접 제공하기 때문에 가장 손쉽게 LLM 모델을 실행해볼 수 있습니다. 아래는 Meta에서 공개한 <code>llama3.3:70b</code>를 Ollama로 실행하는 명령어입니다.</p>
<pre><code>$ ollama run llama3.3:70b "Hello, world!"</code></pre>
<p>Ollama에 대한 더 자세한 사용법은 다음 글에서 다루고 있으니 참고해주세요.</p>
<ul>
<li><a href="https://www.lainyzine.com/ko/article/ollama-installation-to-local-llm-model-execution/">Ollama 설치부터 로컬 LLM 모델 실행까지</a></li>
</ul>
<p>반면에 LLM 개발환경을 구축하거나, 다양한 옵션 설정 등 최적화가 필요한 경우 exllamav2나 llama.cpp와 같은 실행기를 사용해야합니다. 여기서부터는 llama.cpp 사용법을 소개하겠습니다.</p>
<h2 id="llama.cpp-빌드하기">llama.cpp 빌드하기<a href="#table-of-contents">#</a>
</h2>
<p>사용자 친화적인 Ollama와 같은 도구와 달리 llama.cpp로 LLM 모델을 실행하려면 직접 빌드부터 진행해야합니다. 이 글에서는 우분투 환경을 기준으로 빌드를 해보겠습니다. 먼저 빌드에 필요한 의존성 패키지들을 설치합니다.</p>
<pre><code>$ sudo apt install git build-essential cmake</code></pre>
<p>그리고 Git에서 lamma.cpp 저장소를 클론해옵니다.</p>
<pre><code>$ git clone https://github.com/ggerganov/llama.cpp.git</code></pre>
<p>다음으로 클론 받은 lamma.cpp 디렉터리에 build 디렉터리를 생성해줍니다. 이 디렉터리로 이동합니다.</p>
<pre><code>$ cd lamma.cpp
$ mkdir build
$ cd build</code></pre>
<p>이 디렉터리에 lamma.cpp를 빌드해보겠습니다.</p>
<div>
<p>
코드를 직접 빌드하는 건 어려운가요?
</p>
<div>

<p>이 예제에서는 cmake와 make를 사용해서 C++ 코드를 직접 빌드합니다. 소스 코드 빌드를 해본 적이 없더라도 겁먹을 필요는 없습니다. 빌드 과정 자체가 어려운 것은 아닙니다. 단, 빌드 과정에 커스터마이징이 필요한 경우나 시스템에 따라서 추가적인 작업이 필요할 수도 있습니다.</p>
<p>코드 빌드에 앞서 몇 가지 알아두면 좋은 것들이 있습니다. 먼저 코드를 직접 빌드할 때 빌드하는 디렉터리가 매우 중요합니다. 빌드 후에 디렉터리를 이동하는 경우 바이너리가 제대로 실행되지 않을 수도 있습니다. 여기서는 간단한 예제를 위해서 이 디렉터리에 설치합니다만, 필요한 경우 적절한 위치에서 빌드해야합니다. 빌드 디렉터리를 지정하는 옵션을 사용하는 경우도 있습니다.</p>
<p>또한 처음 빌드 설정을 할 때 적절한 옵션을 지정해야합니다. 이 옵션은 한 번 빌드하면 되돌릴 수 없습니다만, 걱정할 필요는 없습니다. 디렉터리를 비우거나, 다른 디렉터리에서 다시 빌드하면 됩니다.</p>
<p>코드를 직접 빌드하는 다른 사례도 참고해보세요.</p>
<ul>
<li><a href="https://www.lainyzine.com/ko/article/how-to-build-git-specific-version-on-linux-ubuntu/">리눅스에서 Git 소스코드 빌드하는 방법</a></li>
</ul>

</div>
</div>
<p>먼저 cmake를 실행해서 빌드를 준비합니다.</p>
<pre><code>$ cmake ..</code></pre>
<p>NVIDIA GPU를 사용하는 경우, 아래 명령어를 실행해야합니다.</p>
<pre><code>$ cmake -DGGML_CUDA=ON ..</code></pre>
<p>다음으로 <code>make</code>를 실행해서 빌드를 진행합니다. 이 과정은 10분 이상 시간이 걸릴 수 있습니다.</p>
<pre><code>$ make
...
[ 99%] Built target llama-vdot
[ 99%] Building CXX object pocs/vdot/CMakeFiles/llama-q8dot.dir/q8dot.cpp.o
[100%] Linking CXX executable ../../bin/llama-q8dot
[100%] Built target llama-q8dot</code></pre>
<p><code>make</code>가 끝나면 이제 <code>llama-cli</code> 명령어를 실행해보겠습니다.</p>
<pre><code>$ ./bin/llama-cli --version
ggml_cuda_init: GGML_CUDA_FORCE_MMQ:    no
ggml_cuda_init: GGML_CUDA_FORCE_CUBLAS: no
ggml_cuda_init: found 1 CUDA devices:
  Device 0: NVIDIA GeForce RTX 4090, compute capability 8.9, VMM: yes
version: 4340 (4f51968a)
built with cc (Ubuntu 13.3.0-6ubuntu2~24.04) 13.3.0 for x86_64-linux-gnu</code></pre>
<p>위와 같이 버전이 출력되면 성공입니다.</p>
<h2 id="llm-실행을-위한-모델-준비">LLM 실행을 위한 모델 준비<a href="#table-of-contents">#</a>
</h2>
<p>llama.cpp로 LLM을 실행하기 위해서는 직접 LLM 모델을 준비해야합니다. llama.cpp에서는 GGUF, GGML, GPTQ와 같은 포맷을 직접 지원하고 있습니다. Safetensors나 HF 모델의 경우 직접 호환은 안 되며, 앞선 포맷으로 변환해서 실행해야합니다.</p>
<p>여기서는 Qwen2.5-32B 모델의 GGUF 버전을 제공하는 Hugging Face의 bartowski/Qwen2.5-32B-Instruct-GGUF에서 모델을 다운로드 받아보겠습니다. Qwen2.5는 알리바바에서 공개한 오픈소스 LLM 모델입니다.</p>
<ul>
<li><a href="https://huggingface.co/bartowski/Qwen2.5-32B-Instruct-GGUF/tree/main">bartowski/Qwen2.5-32B-Instruct-GGUF at main</a></li>
</ul>
<p>다운로드 페이지에서 확인할 수 있듯이, 양자화 정도를 비롯한 같은 모델의 다양한 버전들이 제공되고 있습니다. 이 중에서 하나만 있으면 실행해볼 수 있습니다.</p>
<figure>
<img src="https://www.lainyzine.com/ko/article/using-llama-cpp-for-local-llm-execution/assets/image.png" alt="bartowski/Qwen2.5-32B-Instruct-GGUF에서 제공하는 모델 파일들" width="1500" height="724" loading="lazy">
</figure>
<p>이 예제에서는 4bit 양자화 버전 중 하나인 <code>Qwen2.5-32B-Instruct-Q4_K_L.gguf</code>를 다운로드 받아보겠습니다.</p>
<pre><code>$ mkdir models
$ wget https://huggingface.co/bartowski/Qwen2.5-32B-Instruct-GGUF/resolve/main/Qwen2.5-32B-Instruct-Q4_K_L.gguf</code></pre>
<p>이와 같이 사용하고자 하는 모델은 Hugging Face나 공식 웹 사이트 등을 통해서 직접 구해야합니다. 필요한 경우 llama.cpp에서 지원하는 형식으로 직접 변환해야합니다.</p>
<p>GPU로 모델을 실행하는 경우 VRAM 용량에 크게 영향을 받습니다. 가능하면 사용중인 GPU의 VRAM보다 작은 모델을 사용하는 걸 추천합니다.</p>
<h2 id="llama.cpp로-llm-실행하기">llama.cpp로 LLM 실행하기<a href="#table-of-contents">#</a>
</h2>


<p>자, 이제 모델도 준비되었으니 llama.cpp로 LLM 모델을 실제로 실행해보겠습니다.</p>
<pre><code>$ ./bin/llama-cli -m ./models/Qwen2.5-32B-Instruct-Q4_K_L.gguf -p "Hello, what is 10+11?"
...
Hello, what is 10+11? 10 + 11 equals 21. [end of text]


llama_perf_sampler_print:    sampling time =       0.82 ms /    24 runs   (    0.03 ms per token, 29411.76 tokens per second)
llama_perf_context_print:        load time =    2374.80 ms
llama_perf_context_print: prompt eval time =      60.92 ms /    11 tokens (    5.54 ms per token,   180.56 tokens per second)
llama_perf_context_print:        eval time =     313.82 ms /    12 runs   (   26.15 ms per token,    38.24 tokens per second)
llama_perf_context_print:       total time =     378.14 ms /    23 tokens</code></pre>
<p>정상적으로 동작하는 것을 확인할 수 있습니다. eval time을 보면 초당 38.24토큰을 생성하는 걸 확인할 수 있습니다.</p>
<p>NVIDIA GPU를 명시적으로 사용하려면 아래와 같이 <code>-dev CUDA0</code> 옵션을 붙여줍니다.</p>
<pre><code>$ ./bin/llama-cli -m ./models/Qwen2.5-32B-Instruct-Q4_K_L.gguf -dev CUDA0 -p "Hello, what is 10+11?"</code></pre>
<p>사용가능한 디바이스는 다음 명령어로 확인할 수 있습니다.</p>
<pre><code>$ ./bin/llama-cli --list-devices
ggml_cuda_init: GGML_CUDA_FORCE_MMQ:    no
ggml_cuda_init: GGML_CUDA_FORCE_CUBLAS: no
ggml_cuda_init: found 1 CUDA devices:
  Device 0: NVIDIA GeForce RTX 4090, compute capability 8.9, VMM: yes
Available devices:
  CUDA0: NVIDIA GeForce RTX 4090 (24563 MiB, 22994 MiB free)</code></pre>
<p>또한 VRAM 용량을 넘어가지 않도록 <code>-ngl</code> 이나 <code>--ctx_size</code>와 같은 옵션을 지정할 수도 있습니다.</p>
<p>더 자세한 옵션은 다음 명령어로 확인할 수 있습니다.</p>
<pre><code>./bin/llama-cli --help</code></pre>
<p>다양한 옵션을 모델 실행을 최적화할 수 있습니다.</p>
<h2 id="마치며">마치며<a href="#table-of-contents">#</a>
</h2>
<p>여기까지 llama.cpp를 사용해서 직접 LLM 모델을 실행해보았습니다. llama.cpp에 대한 보다 자세한 정보는 공식 저장소를 확인해보시기 바랍니다.</p>
<ul>
<li><a href="https://github.com/ggerganov/llama.cpp">ggerganov/llama.cpp: LLM inference in C/C++</a></li>
</ul>
<p>WSL와 Docker를 사용하는 경우 NVIDIA GPU 드라이버를 셋업하는 방법은 다음 글을 참고해주세요.</p>
<ul>
<li><a href="https://www.lainyzine.com/ko/article/how-to-use-nvidia-gpu-cuda-on-wsl-linux/">WSL에서 NVIDIA GPU 사용하는 방법</a></li>
<li><a href="https://www.lainyzine.com/ko/article/how-to-use-nvidia-gpu-on-windows-docker/">Docker에서 NVIDIA GPU 사용하는 방법</a></li>
</ul>
<p>앞에서도 소개했지만, 더 간단히 LLM 모델을 실행해보고자 한다면 Ollama가 최적입니다. Ollama 설치와 사용법은 다음 글에서 상세히 알아봅니다.</p>
<ul>
<li><a href="https://www.lainyzine.com/ko/article/ollama-installation-to-local-llm-model-execution/">Ollama 설치부터 로컬 LLM 모델 실행까지</a></li>
</ul>



</article>
</div></div>

LZ: 프로그래머 가이드

LainyZine

llama.cpp는 C++로 개발된 고성능 LLM 실행기입니다. llama.cpp를 사용하여 로컬에서 LLM을 실행하는 방법에 대해 설명합니다.
전체 기사는 이 링크에서 읽을 수 있습니다.

llama.cpp 사용법: 고성능 로컬 LLM 실행기

댓글