<div id="readability-page-1" class="page"><div id="SE-b88d67bf-9c4d-44b5-8769-416e032cf37e">
 안녕하세요 멍개입니다.
​
LLM을 구동하기 위해 사용되는 대표적인 서버로 Ollama, LM Studio, llama.cpp, vllm이 있습니다.
<a href="https://blog.naver.com/pjt3591oo/223939267795" data-linktype="text" data-linkdata="{&quot;id&quot;: &quot;SE-11d43575-42ea-4b11-a0f0-c9ba82335dde&quot;, &quot;link&quot;: &quot;https://blog.naver.com/pjt3591oo/223939267795&quot;}" target="_blank">https://blog.naver.com/pjt3591oo/223939267795</a>

 </div><div id="SE-ada44d7c-dbf0-43c4-8523-716c954533ac">
 그렇다면 이들중에 우리는 무엇을 골라야 할까요?
​
· 왜 로컬 LLM이 필요한가?
먼저, 우리는 왜 로컬 LLM을 구축해야 하는지부터 살펴보겠습니다.
​
그 전에, 필자는 로컬 LLM을 언제 사용할까요? 왜 이렇게 로컬 LLM에 집착할까요? 
​
사실 저는 LLM뿐 아니라 모든걸 로컬에 구축하는걸 좋아합니다. 그래서 AWS와 같은 클라우드도 로컬에 구축을 진행하기도 했습니다.
​
로컬에 구축한다는 것의 가장 큰 장점은 무료입니다.
​
정리해보면 다음과 같습니다.
<ol><li>LLM이 필요한 서비스를 개발할때
</li><li>LLM 서버를 직접 운영할 때
</li></ol>​
개발 과정에서 로컬 LLM을 써야하는 궁극적인 이유는 단순히 구현을 위해서가 아닙니다. 
바로 장애시 대응을 위해서입니다. 따라서 우리는 정상적인 응답 뿐 아니라 LLM 서버가 죽었을때, 타임아웃이 발생했을 때 등 케이스를 구현해야 하는데 상용 LLM은 이러한 상황을 구현하기 어렵습니다. 
개발하는 과정에서는 반드시 로컬 LLM을 이용하여 장애 상황을 구현해야합니다.
​
· 지원하는 모델비교
LLM 모델은 크게 gguf와 safetensors 타입이 존재하며 mlx 실행환경도 존재합니다.
​
llama.cpp는 gguf를 지원합니다.
​
ollama는 gguf와 safetensors를 지원합니다.
​
lm studio는 gguf 포맷과 mlx 기반 실행 환경을 제공하므로 safetensors로 저장된 모델 가중치를 사용할 수 있습니다.
​
vllm은 gguf와 safetensors를 지원합니다. 또한 mlx 실행한경도 제공합니다.
​
· 어떤 실행 도구 써야할까?
필자는 먼저 하드웨어, 원하는 사용 방식, 동시 요청 규모를 기준으로 선택합니다.
​
개발 단계에서 모델을 내려받고 빠르게 API에 연결하려면 Ollama나 LM Studio부터 시작하기 좋습니다. 개인적으로는 명령줄에서 사용하는 Ollama를 자주 사용합니다. 화면에서 모델을 찾고 설정을 바꾸면서 실험하고 싶다면 LM Studio가 편리한 선택입니다.
​
Apple Silicon Mac에서는 LM Studio의 MLX 실행 경로도 비교할 만합니다. 다만 MLX라는 이유만으로 항상 더 빠르다고 단정하기보다, 같은 계열의 모델과 비슷한 양자화 조건으로 메모리 사용량과 응답 속도를 확인하는 편이 좋습니다.
​
GGUF 모델을 직접 관리하면서 CPU와 GPU의 사용 범위, 문맥 길이, 병렬 처리 등을 세밀하게 조절하고 싶다면 llama.cpp를 고려할 수 있습니다. llama server를 통해 API 서버로도 사용할 수 있습니다.
​
여러 요청을 동시에 처리하는 GPU 서버를 구축하고, KV 캐시와 배치 스케줄링을 조절하고 싶다면 vLLM을 검토할 만합니다. 대신 지원 하드웨어와 모델, CUDA 등 실행 환경의 호환성을 확인해야 합니다.
상용 서비스라는 이유만으로 선택이 자동으로 vLLM으로 결정되지는 않습니다. 요청량이 적은 서비스와 높은 동시 처리량이 필요한 서비스는 요구사항이 다르기 때문입니다. 실제 입력·출력 길이와 목표 부하에서 처리량, 지연, 실패율을 측정한 뒤 선택하는 것이 좋습니다.
​
· tool calling
Claude Code나 OpenCode 같은 코딩 에이전트에 로컬 LLM을 연결할 때는 일반적인 채팅 응답뿐 아니라 tool calling이 제대로 동작하는지도 확인해야 합니다.
​
Ollama, LM Studio, llama.cpp 모두 tool calling을 지원하지만, 실제 동작은 사용하는 모델, 채팅 템플릿, 서버 버전, 클라이언트의 API 호환성에 따라 달라질 수 있습니다. 도구 호출에 실패한다면 이 조합을 먼저 확인하고, 필요하면 llama.cpp처럼 템플릿과 실행 설정을 직접 조절할 수 있는 환경에서 비교해 보는 것도 방법입니다.
​
이때 도구 호출이 된다는 것만으로 충분하지는 않습니다. 올바른 도구를 선택하는지, 인자를 정확하게 생성하는지, 실행 결과를 받은 뒤 다음 작업을 이어가는지까지 확인해야 합니다.
​
로컬 LLM의 속도와 실행 가능한 모델 크기는 컴퓨터 사양에 크게 영향을 받습니다. 에이전트 연동의 안정성은 모델의 능력과 서버·클라이언트의 호환성도 함께 살펴봐야 합니다. 처음부터 하나의 도구로 고정하기보다, 실제 사용할 작업을 기준으로 비교한 뒤 적합한 구성을 선택하는 것을 권장합니다.

 </div></div>

삽질하는 멍개씨

안녕하세요 멍개입니다. LLM을 구동하기 위해 사용되는 대표적인 서버로 Ollama, LM Studio, llama.cpp, vllm이 있습니다. https://blog.naver.com/pjt3591oo/223939267795 https://blog.naver.com/pjt3591oo/223805688524 https://blog.naver.com/pjt3591oo/224423081135 https://blog.naver.com/pjt3591oo/224423120161 그렇다면 이들중에 우리는 무엇을 골라야 할까요? · 왜 로컬 LLM이 필요한가? 먼저, 우리는 왜 로컬 LLM을 구축해야 하는지부터 살펴보겠습니다. 그 전에, 필자는 로컬 LLM을 언제 사용할까요? 왜 이렇게 로컬 LLM에 집착할까요? 사실 저는 LLM뿐 아니라 모든걸 로컬에 구축하는걸 좋아합니다. 그래서 AWS와 같은 클라우드도.......

[LLM] Ollama, LM Studio, llama.cpp, vLLM 비교: 로컬 LLM 선택 가이드

댓글