기업을 운영하거나 개인 적으로 데이터 보안을 위해 ChatGPT나 Claude 같은 회사들의 서비스 쓰는 것을 꺼리는 경우가 있다. 이럴 경우 개인적인 LLM서비스를 써야 하는데 클라우드에서 AI Infratsture를 구현하고 LLM 서비스를 사용하는 방법도 있고 회사 서버나 개인용 컴퓨터에 LLM 설치후 사용할수도 있다.

이 번시간에는 로컬에서 LLM 설치하고 사용하는 방버에 대해 다루고자 한다. 이 글에서는 Mac M2(20GB RAM)에서 MiniCPM-o-2.6이라는 작지만 강력한 LLM을 설정하고 실행하는 과정을 안내할 거다. 비슷한 크기의 오픈소스 모델인 Llama-2-7B, Mistral-7B, Qwen-7B, DeepSeek-R1-Distill-Llama-8B도 이 과정에 적합하다.

이 글에서 MiniCPM-o-2.6을 로컬에서 실행하는 다음 방법들을 살펴볼 거다:

1. Ollama: 가장 간단한 명령줄 접근법 — 터미널에 익숙한 개발자나 사용자에게 적합.

2. Open WebUI: 사용자 친화적인 웹 인터페이스 — 브라우저를 통해 LLM과 상호작용할 수 있는 직관적이고 시각적으로 매력적인 방법 제공.

3. Hugging Face Transformers: 파이썬 기반 유연성 — 인기 있는 `transformers` 라이브러리를 활용해 파이썬 내에서 직접 모델을 로드하고 제어.

각 방법을 단계별로 자세히 알아보자!"

1. Ollama

1단계: Ollama 설치

Ollama는 macOS용 인기 패키지 관리자인 Homebrew를 사용해 쉽게 설치할 수 있다. Homebrew가 설치되어 있지 않다면 [https://brew.sh/](https://brew.sh/)에서 설치할 수 있다.

터미널 애플리케이션(/Applications/Utilities/에서 찾을 수 있음)을 열고 다음 명령어를 실행해라:

brew install ollama

또는 Ollama 웹사이트에서 직접 다운로드할 수도 있다.

2단계: MiniCPM-o-2.6 모델 다운로드

Ollama가 설치되면 MiniCPM-o-2.6 모델을 다운로드해야 한다. Ollama는 모델을 이름으로 참조하며, Ollama 모델 라이브러리에서 MiniCPM-o-2.6을 찾을 수 있다. 터미널에서 다음 명령어를 실행해라:

ollama pull minicpm-v

Ollama가 모델 가중치를 다운로드할 거다. 인터넷 연결 상태에 따라 몇 분 정도 걸릴 수 있다. 모델이 다운로드되면 터미널에서 직접 실행하고 채팅을 시작할 수 있다. 다음 명령어를 사용해라:

ollama run minicpm-v

Ollama가 모델을 로드하고, 다음과 같은 프롬프트가 나타날 거다:

>>>

이제 프롬프트나 질문을 입력하고 Enter를 누르면 된다. MiniCPM-o-2.6이 터미널에서 바로 응답을 생성할 거다!

>>> 시애틀에서 겨울을 보내는 것은 어떤가요?

시애틀은 대륙성 기후를 가지고 있다. 가장 추운 달(1월)의 평균 기온은 화씨 40도이며, 강수량은 12월부터 3월까지 도시의 다른 지역에 따라 약 2인치에서 그 네 배 이상까지 다양하다. 시애틀은 연간 평균 35일 이상 영하의 기온을 경험하지만, 주로 1월이나 2월에 고기압 시스템으로 인해 더 추워진다.

시애틀은 온대 우림 기후를 가지고 있어, 강수량이 연중 내내 내리고 평균 일일 최고 기온이 섭씨 10도(화씨 50도) 이상인 달은 단 한 달뿐이다. 겨울 평균 최고 기온은 1월의 화씨 40도에서 3월의 화씨 55~60도까지 다양하다. 차가운 전선이 지나가면서 눈이 내리는 경우도 흔하다.

강수량은 10월부터 11월, 12월까지 정점을 이루며, 폭풍 시스템이 워싱턴 주의 해양을 가로질러 이동하면서 두 날 동안 최대 6인치의 강우가 가능하다.

Ollama 채팅 세션을 종료하려면 `/bye`를 입력하고 Enter를 누르면 된다.

Ollama의 장점:

- 매우 간단함: 설치와 모델 관리가 매우 직관적이다.

- 명령줄 중심: 터미널 기반 상호작용을 선호하는 개발자나 사용자에게 적합하다.

- 가볍다: Ollama 자체는 최소한의 리소스만 사용한다.

Ollama의 단점:

- GUI 없음: 순수 명령줄 기반이라 모든 사용자에게 적합하지 않을 수 있다.

- 기능 제한(독립 실행형): Ollama는 주로 모델 실행에 초점이 맞춰져 있다. 채팅 기록이나 웹 인터페이스 같은 고급 기능을 원한다면 다른 도구와 통합해야 한다.

2. Open WebUI: 로컬 LLM을 위한 아름다운 웹 인터페이스

그래픽 사용자 인터페이스(GUI)를 선호하고 더 풍부한 기능을 원한다면, Open WebUI가 훌륭한 선택이다. 이는 Ollama(또는 다른 백엔드)에 연결되는 사용자 친화적인 웹 인터페이스로, 웹 브라우저에서 채팅 같은 경험을 제공한다.

1단계: Ollama가 실행 중인지 확인

Open WebUI는 모델을 제공하기 위해 Ollama에 의존한다. Ollama가 설치되어 있는지 확인하고(1장에서 설명한 대로) 백그라운드에서 실행 중인지 확인해라. 별도의 터미널 창에서 `ollama serve`를 실행해 Ollama를 시작하면 된다(이 창은 최소화해도 됨).

2단계: Docker를 사용해 Open WebUI 설치(권장)

Docker는 Open WebUI를 설정하는 가장 쉬운 방법이다. Mac에 Docker Desktop이 설치되어 있지 않다면, [https://www.docker.com/products/docker-desktop/](https://www.docker.com/products/docker-desktop/)에서 다운로드하고 설치해라.

Docker Desktop이 실행 중이면, 터미널을 열고 다음 명령어를 실행해라:

docker run -d -p 8080:8080 --volume open-webui:/app/data --name open-webui ghcr.io/open-webui/open-webui:main

이 명령어는 다음을 수행한다:

- `docker run -d`: Docker 컨테이너를 백그라운드에서 실행한다.

- `-p 8080:8080`: Mac의 8080 포트를 컨테이너의 8080 포트에 매핑한다(WebUI에 접근하기 위해).

- `--volume open-webui:/app/data`: `open-webui`라는 이름의 영구 볼륨을 생성해 데이터(채팅 기록, 설정 등)를 저장한다.

- `--name open-webui`: 컨테이너 이름을 `open-webui`로 지정해 관리하기 쉽게 한다.

- `ghcr.io/open-webui/open-webui:main`: 사용할 Docker 이미지를 지정한다(공식 Open WebUI 이미지).

Docker가 Open WebUI 이미지를 다운로드하고 컨테이너를 시작할 거다.

3단계: 브라우저에서 Open WebUI 접속

웹 브라우저(Chrome, Safari, Firefox 등)를 열고 다음 주소로 이동해라:

http://localhost:8080

Open WebUI 인터페이스가 보일 거다! 먼저 회원가입을 해라.

4 단계: 모델 선택

5단계: 채팅 시작!

이제 메인 채팅 인터페이스로 돌아가서 프롬프트를 입력하면 된다. Open WebUI는 채팅 기록, 모델 파라미터 설정 등을 제공하며, 명령줄에 비해 훨씬 더 시각적으로 매력적인 경험을 제공한다.

Open WebUI의 장점:

- 사용자 친화적인 GUI: LLM과 상호작용하기 위한 아름답고 직관적인 웹 인터페이스를 제공한다.

- 풍부한 기능: 채팅 기록, 모델 설정, 사용자 관리 등 다양한 기능을 제공한다.

- Docker로 쉽게 설정 가능: Docker를 통해 설치 과정이 간단해진다.

Open WebUI의 단점:

- Docker 필요(또는 수동 설정): 컨테이너화에 익숙하지 않다면 Docker가 복잡성을 추가할 수 있다. 수동 설정도 가능하지만 더 많은 작업이 필요하다.

- 백엔드(Ollama) 의존성: 백그라운드에서 Ollama(또는 다른 지원되는 백엔드)가 실행 중이어야 한다.

또는, Docker가 필요 없는 ChatBox AI 같은 사용자 친화적인 애플리케이션도 있다. 이는 비기술적 사용자에게 더 간단한 옵션으로, 편리한 웹 인터페이스를 제공한다.

3. Hugging Face Transformers: 파이썬 기반 유연성

Hugging Face의 `transformers`는 사전 학습된 언어 모델을 다루기 위해 널리 사용되는 파이썬 라이브러리다. MiniCPM-o-2.6 같은 모델을 직접 파이썬 코드에서 로드, 실행, 미세 조정할 수 있는 강력하고 유연한 방법을 제공한다. 이 방법은 더 많은 프로그래밍적 제어와 다른 파이썬 도구와의 통합을 원하는 개발자에게 이상적이다.

**계: `transformers`와 PyTorch 설치

먼저 `transformers` 라이브러리와 PyTorch를 설치해야 한다. PyTorch는 `transformers`가 내부적으로 사용하는 인기 있는 딥러닝 프레임워크다. 터미널을 열고 `pip`(파이썬 패키지 설치 도구)를 사용해라:

pip install transformers torch

Apple Silicon Mac(M1/M2)을 사용 중이라면, PyTorch가 자동으로 GPU(Metal)를 활용해 계산 속도를 높일 거다.

2단계: MiniCPM-o-2.6을 로드하고 실행하는 파이썬 코드

새 파이썬 파일(예: `minicpm_transformers.py`)을 만들고 다음 코드를 붙여넣어라:

# 모델과 토크나이저 로드

from transformers import AutoTokenizer, AutoModelForCausalLM

# Hugging Face Hub의 모델 이름

model_name = "openbmb/MiniCPM-o-2_6"

# 토크나이저와 모델 로드

tokenizer = AutoTokenizer.from_pretrained(model_name, trust_remote_code=True)

model = AutoModelForCausalLM.from_pretrained(model_name, trust_remote_code=True)

# 추론 함수

def generate_text(prompt_text, max_length=100):

input_ids = tokenizer.encode(prompt_text, return_tensors="pt")

attention_mask = input_ids.ne(tokenizer.pad_token_id)

if tokenizer.pad_token_id is None:

tokenizer.pad_token_id = tokenizer.eos_token_id

output = model.generate(

input_ids,

attention_mask=attention_mask,

max_length=max_length,

pad_token_id=tokenizer.eos_token_id # 적절한 패딩 보장

)

generated_text = tokenizer.decode(output[0], skip_special_tokens=True)

return generated_text

# 프롬프트 생성

prompt = """List 10 innovative business ideas utilizing generative AI.

For each idea, provide a compelling reason why it would be successful.

Format the response as:

1. [Idea Name]: [description].

Why: [Reason]

2. [Idea Name]: [description].

Why: [Reason]

"""

response = generate_text(prompt)

print("10 Gen AI Business Ideas:\n" + response)

3단계: 파이썬 스크립트 실행

터미널에서 `minicpm_transformers.py` 파일이 저장된 디렉토리로 이동한 후 스크립트를 실행해라:

python minicpm_transformers.py

처음 실행할 때 `transformers`가 Hugging Face Hub에서 모델 가중치를 다운로드할 거다. 이는 시간이 좀 걸릴 수 있다. 이후 실행은 모델이 로컬에 캐시되기 때문에 더 빠를 거다.

Hugging Face Transformers의 장점:

- 유연성과 제어: 모델 로드, 추론 파라미터, 파이썬 워크플로우와의 통합에 대한 세밀한 제어를 제공한다.

- 널리 사용되는 라이브러리: `transformers`는 NLP/ML 커뮤니티에서 표준 라이브러리로, 광범위한 문서와 커뮤니티 지원을 받는다.

- 파이썬 통합: 다른 파이썬 라이브러리 및 데이터 과학 도구와 원활하게 통합된다.

Hugging Face Transformers의 단점:

- 더 많은 코드 필요: 파이썬 코드 작성이 필요하며, 이는 GUI 도구(Open WebUI)나 명령줄 도구(Ollama)에 비해 비프로그래머에게 덜 접근 가능할 수 있다.

- 더 높은 학습 곡선: `transformers` 라이브러리와 PyTorch 개념을 이해하려면 약간의 기술적 배경 지식이 필요할 수 있다.

로컬 LLM을 구현하는 다른 방법들

Ollama, Open WebUI, Hugging Face Transformers 외에도 Mac M2에서 로컬 LLM을 구현할 수 있는 몇 가지 다른 방법들이 있다:

- vLLM: vLLM은 고속 처리와 낮은 지연 시간을 위해 설계된 빠르고 효율적인 LLM 추론 라이브러리다. 주로 LLM 서빙에 사용된다. vLLM을 파이썬과 직접 사용하거나 FastAPI 같은 프레임워크와 통합해 로컬 LLM을 위한 API 서버를 만들 수 있다. 설정은 Ollama보다 조금 더 복잡할 수 있지만, 특정 작업 부하에서 성능 이점을 제공할 수 있다.

- MLC LLM (ML Compilation for LLMs): MLC LLM은 Apple Silicon 프로세서, CPU, 심지어 모바일 기기까지 다양한 하드웨어 백엔드에서 LLM을 네이티브로 배포할 수 있는 범용적이고 효율적인 배포 솔루션이다. MLC LLM은 특정 하드웨어에 맞춰 모델 성능을 최적화하는 컴파일 기술에 초점을 맞춘다. 다양한 플랫폼에서 고도로 최적화된 성능과 배포를 탐구하고 싶다면 좋은 옵션이다.

- LM Studio: LM Studio는 다양한 LLM을 로컬에서 탐색, 다운로드, 실행할 수 있는 사용자 친화적인 GUI를 제공하는 데스크톱 애플리케이션이다. 다양한 형식의 모델을 지원하며 채팅 인터페이스를 제공한다. 웹 기반 UI보다 독립형 데스크톱 애플리케이션을 선호한다면 Open WebUI 대신 LM Studio를 고려해볼 만하다.

- GPT4All: GPT4All는 로컬 사용을 위해 LLM을 접근 가능하게 만드는 또 다른 오픈소스 프로젝트다. 클라이언트 애플리케이션과 SDK를 제공해 로컬에서 모델을 실행할 수 있다. 사용 편의성과 광범위한 호환성을 목표로 한다.

- llama.cpp 직접 사용: C++과 소스 빌드에 익숙하다면, `llama.cpp`는 Llama 계열 모델(이제는 다른 아키텍처도 지원)을 실행하기 위한 고도로 최적화된 C++ 라이브러리다. 효율성과 낮은 리소스 사용량으로 유명하다. `llama.cpp`를 빌드하고 명령줄에서 직접 모델을 실행하거나 자신의 애플리케이션에 통합할 수 있다. 이는 더 기술적인 접근이지만, 세밀한 제어와 성능을 제공한다.

- 웹 기반 노트북(예: Jupyter, Google Colab 로컬 런타임): 주로 클라우드 기반이지만, Jupyter Notebook이나 Google Colab을 로컬 런타임 환경으로 설정할 수 있다. 이를 통해 `transformers` 같은 라이브러리를 사용해 로컬에서 LLM을 실행하면서 노트북의 인터랙티브한 특성을 결합할 수 있다.

결론:

로컬에서 LLM을 실행하는 방법은 점점 더 다양해지고 있다. Ollama 같은 간단한 명령줄 도구부터 Open WebUI 같은 사용자 친화적인 웹 인터페이스, Hugging Face Transformers 같은 유연한 파이썬 라이브러리, vLLM과 MLC LLM 같은 전문 프레임워크, LM Studio와 GPT4All 같은 독립형 애플리케이션까지 다양한 옵션이 있다. 이러한 방법들을 실험해보고, MiniCPM-o-2.6 같은 로컬 LLM의 능력을 탐구하며, 데스크톱에서 새로운 AI 가능성을 열어보자. 당신의 기술 수준과 프로젝트 요구에 가장 적합한 접근 방식을 선택하면 된다.

LLM 로컬에서 돌리기

댓글