<div id="readability-page-1" class="page"><div>
<article>
<header>


</header>
<nav id="table-of-contents">
<ul>
<li><a href="#%EB%A1%9C%EC%BB%AC-llm-%EB%AA%A8%EB%8D%B8-%EC%8B%A4%ED%96%89%EC%9D%84-%EC%9C%84%ED%95%9C-ollama%EB%9E%80">로컬 LLM 모델 실행을 위한 Ollama란?</a></li>
<li>
<a href="#open-webui-%EC%84%9C%EB%B2%84-%EC%8B%A4%ED%96%89">Open WebUI 서버 실행</a>
<ul>
<li><a href="#ollama%EC%99%80-open-webui%EB%A5%BC-%ED%95%A8%EA%BB%98-%EC%8B%A4%ED%96%89%ED%95%98%EA%B8%B0">Ollama와 Open WebUI를 함께 실행하기</a></li>
</ul>
</li>
<li><a href="#%EC%8B%A4%ED%96%89%EC%A4%91%EC%9D%B8-ollama-%EC%84%9C%EB%B2%84%EC%99%80-%EC%97%B0%EB%8F%99%ED%95%98%EB%8A%94-%EA%B2%BD%EC%9A%B0">실행중인 Ollama 서버와 연동하는 경우</a></li>
<li><a href="#open-webui-%EC%82%AC%EC%9A%A9%EB%B2%95">Open WebUI 사용법</a></li>
<li><a href="#ollama-%EC%84%9C%EB%B2%84-%EA%B4%80%EB%A6%AC">Ollama 서버 관리</a></li>
<li><a href="#%EB%A7%88%EC%B9%98%EB%A9%B0">마치며</a></li>
</ul>
</nav>
<p>Open WebUI는 Ollama와 OpenAI 호환 가능한 API 서비스를 백엔드로, ChatGPT와 비슷한 LLM 웹서비스를 직접 운영할 수 있는 서버 애플리케이션입니다. ChatGPT의 경우 웹서비스로 OpenAI의 전용 모델들만을 이용할 수 있지만, Open WebUI를 사용하면 OpenAI의 모델 뿐만 아니라 다양한 LLM 모델들을 사용할 수 있습니다. 또한 로컬에서 프라이빗하게 구축한 LLM 실행 환경을 외부 노출 없이 ChatGPT와 비슷한 인터페이스로 사용할 수도 있습니다.</p>
<figure>
<img src="https://www.lainyzine.com/ko/article/building-llm-web-service-with-open-webuiassets/image.png" alt="Open WebUI로 로컬에서 Qwen2.5 모델을 실행하는 모습" width="1500" height="888" loading="lazy">
</figure>
<p>이 글에서는 Ollama를 백엔드 서버로, Docker를 활용해 Open WebUI를 실행하는 방법을 소개합니다.</p>
<h2 id="로컬-llm-모델-실행을-위한-ollama란">로컬 LLM 모델 실행을 위한 Ollama란?<a href="#table-of-contents">#</a>
</h2>
<p>Ollama는 로컬에서 오픈소스 LLM 모델을 실행할 수 있는데 프로그램입니다. 현재는 윈도우, 맥, 리눅스 등 메이저 운영체제를 모두 지원하고 있습니다. 다운로드 받고 설치하면 바로 사용할 수 있습니다.</p>
<ul>
<li><a href="https://ollama.com/">Ollama</a></li>
</ul>
<p>Ollama를 설치하면 Ollama Hub를 통해서 모델을 제공하며, 복잡한 설정 없이도 명령어 하나로 LLM 모델을 실행해볼 수 있습니다. 예를 들어서 다음은 구글의 오픈소스 LLM 모델인 gemma2를 실행해보는 명령어입니다.</p>
<pre><code>$ ollama run gemma2:2b "안녕하세요."</code></pre>
<p><code>gemma2:2b</code> 1.6GB 정도의 작은 모델로, 고성능 GPU가 없더라도 실행해볼 수 있습니다. 모델을 따로 준비할 필요도 없습니다. Ollama가 모델을 자동으로 다운로드 받고 실행합니다. CPU나 GPU 설정도 필요없습니다. GPU가 있으면 GPU로 알아서 실행해줍니다. 애플 실리콘 맥에서도 이 정도 모델은 상당히 빠른 속도로 동작합니다.</p>
<p>최근에 Meta에서 공개한 고성능 모델인 Llama3.3도 돌려볼 수 있습니다.</p>
<pre><code>$ ollma run llama3.3:70b "안녕하세요"</code></pre>
<p>이 모델은 용량이 상당히 커서 고성능 GPU나 64GB 이상의 메모리가 있어야 실행이 가능합니다. 어쨌거나 이 명령어 하나면 바로 LLM을 실행해볼 수 있습니다.</p>
<p>Ollama에 대한 더 자세한 해설과 사용법은 다음 글에서 소개합니다. Ollama에 익숙하지 않다면, 먼저 다음 글을 참고해서 Ollama를 설치하고 사용해보는 걸 추천합니다.</p>
<ul>
<li><a href="https://www.lainyzine.com/ko/article/ollama-installation-to-local-llm-model-execution/">Ollama 설치부터 로컬 LLM 모델 실행까지</a></li>
</ul>
<p>하지만 커맨드라인에서 일일히 LLM 모델을 사용하거나 채팅을 하기는 불편할 수 있습니다.</p>
<p>여기서 필요한 게 바로 Ollama를 백엔드로 웹UI로 제공하는 Open WebUI나 text-generation-webui와 같은 서비스입니다. Open WebUI는 OpenAI의 ChatGPT에 가까운 인터페이스를 제공하며 text-generation-webui는 stable-diffusion-webui와 비슷한 인터페이스를 제공합니다. Open WebUI가 좀 더 간단하고 사용자 친화적인 편입니다.</p>
<p>여기서부터는 Ollama를 백엔드로 Open WebUI를 사용하는 방법을 소개합니다.</p>
<h2 id="open-webui-서버-실행">Open WebUI 서버 실행<a href="#table-of-contents">#</a>
</h2>
<p>Open WebUI 서버를 Docker를 사용해서 실행해보겠습니다. 먼저 Docker 실행환경을 준비해주세요.</p>
<ul>
<li><a href="https://www.lainyzine.com/ko/article/a-summary-of-docker-installation-methods-by-operating-system/">운영체제 별 Docker 설치 방법</a></li>
</ul>
<p>리눅스를 사용한다면 다음 명령어로 Docker와 docker-compose를 설치합니다.</p>
<pre><code>$ curl -fsSL https://get.docker.com | sudo sh
$ sudo curl -L "https://github.com/docker/compose/releases/latest/download/docker-compose-$(uname -s)-$(uname -m)" -o /usr/local/bin/docker-compose</code></pre>
<h3 id="ollama와-open-webui를-함께-실행하기">Ollama와 Open WebUI를 함께 실행하기<a href="#table-of-contents">#</a>
</h3>
<p>Open WebUI는 로컬 LLM을 실행기 Ollama를 백엔드로 사용할 수 있습니다. 이 예제에서는 Ollama와 Open WebUI를 한꺼번에 실행하는 방법을 살펴보겠습니다.</p>
<ul>
<li><a href="https://www.lainyzine.com/ko/article/ollama-installation-to-local-llm-model-execution/">Ollama 사용법: 설치부터 로컬 LLM 모델 실행까지</a></li>
</ul>
<p>먼저 docker-compose 프로젝트 용으로 사용할 디렉터리를 하나 만들어줍니다.</p>
<pre><code>$ mkdir -p workspace/open-webui-ollama
$ cd workspace/open-webui-ollama</code></pre>
<p>다음 내용을 <code>docker-compose.yml</code> 이름으로 저장합니다.</p>
<pre><code>services:
  ollama:
    image: ollama/ollama:latest
    container_name: ollama
    volumes:
      - ollama:/root/.ollama
    networks:
      - llm-network
    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              count: all
              capabilities: [gpu]

  open-webui:
    image: ghcr.io/open-webui/open-webui:main
    container_name: open-webui
    ports:
      - "18080:8080"
    environment:
      - OLLAMA_BASE_URL=http://ollama:11434
    volumes:
      - open-webui:/app/backend/data
    restart: always
    networks:
      - llm-network

volumes:
  ollama:
    driver: local
  open-webui:
    driver: local

networks:
  llm-network:
    driver: bridge</code></pre>
<p>ollama와 open-webui는 공식 이미지를 사용합니다. 이미지에 대한 더 자세한 정보는 다음 페이지에서 얻을 수 있습니다.</p>
<ul>
<li><a href="https://registry.hub.docker.com/r/ollama/ollama">ollama/ollama - Docker Image | Docker Hub</a></li>
<li><a href="https://github.com/open-webui/open-webui">open-webui/open-webui: User-friendly AI Interface (Supports Ollama, OpenAI API, …)</a></li>
</ul>
<p>이 글에서는 Docker Compose에 대한 설명은 생략하겠습니다. Docker Compose 사용법은 다음 글을 참고해주세요.</p>
<ul>
<li><a href="https://www.lainyzine.com/ko/article/learning-docker-compose-by-example/">예제로 시작하는 Docker Compose 입문</a></li>
</ul>
<p>서버 실행에 앞서, GPU 사용 여부를 확인합니다. 위의 예제에서는 NVIDIA GPU를 사용하고 있습니다. GPU를 사용하지 않는다면, <code>servicies.ollama.deploy</code>와 그 아래의 값들을 삭제해주세요.</p>
<p>GPU를 사용하는 경우, Docker에서 GPU가 사용 가능하도록 미리 설정이 되어있어야합니다. 다음 글을 참고해주세요.</p>
<ul>
<li><a href="https://www.lainyzine.com/ko/article/how-to-use-nvidia-gpu-on-windows-docker/">Docker에서 NVIDIA GPU 사용하는 방법</a></li>
</ul>
<p>이제 <code>docker-compose</code>로 서버를 실행해봅니다.</p>
<pre><code>$ docker-compose up</code></pre>
<p>한 번에 실행되지 않는다면, 한 단계씩 실행해서 문제를 찾아보는 걸 추천합니다.</p>
<pre><code>$ docker pull ghcr.io/open-webui/open-webui:main 
$ docker pull ollama/ollama:latest
$ docker-compose build
$ docker-compose up</code></pre>
<p>서버가 성공적으로 실행되면 서버 로그들이 출력됩니다.</p>
<pre><code>$ docker-compose up
....
[+] Running 1/1
 ✔ Container open-webui  Created
...</code></pre>
<p>이제 <code>localhost:18080</code> 주소로 웹 브라우저에서 Open WebUI에 접속할 수 있습니다.</p>
<h2 id="실행중인-ollama-서버와-연동하는-경우">실행중인 Ollama 서버와 연동하는 경우<a href="#table-of-contents">#</a>
</h2>


<p>Open WebUI와 Ollama를 같은 서버에서 실행해야하는 것은 아닙니다. 예를 들어 GPU가 설치된 컴퓨터에 Ollama를 설치하고, Open WebUI는 다른 서버에서 실행해도 무방하니다.</p>
<p>이 경우 먼저 Ollama 설정을 수정해야합니다. Ollama는 환경변수로 서버 설정을 변경할 수 있습니다. Open WebUI 서버가 Ollama 서버에 접속할 수 있도록 외부 접속과 CORS 설정을 해야합니다. 여기서는 편의상 안전한 로컬 네트워크를 가정하고 <code>0.0.0.0</code>과 <code>*</code> 값을 사용합니다만, 필요한 경우 적절한 값으로 변경해주시기 바랍니다.</p>
<p>리눅스에서는 <code>systemctl edit ollama.service</code> 명령어로 ollama 서비스에 적용되는 환경변수를 수정해줍니다.</p>
<pre><code>[Service]
Environment="OLLAMA_HOST=0.0.0.0"
Environment="OLLAMA_ORIGINS=*"</code></pre>
<p>맥에서는 launchtl로 설정할 수 있습니다.</p>
<pre><code>$ launchctl setenv OLLAMA_HOST "0.0.0.0"
$ launchctl setenv OLLAMA_ORIGINS "*"</code></pre>
<p>윈도우에서는 Win + R을 눌러 실행 창을 열고 다음 명령어를 실행합니다.</p>
<pre><code>$ rundll32.exe sysdm.cpl,EditEnvironmentVariables</code></pre>
<p>사용자 변수에 <code>OLLAMA_HOST</code>와 <code>OLLAMA_ORIGINS</code> 변수를 추가해줍니다. 각 변수의 내용은 아래와 같습니다.</p>
<pre><code>OLLAMA_HOST=0.0.0.0"
OLLAMA_ORIGINS=*</code></pre>
<p>그리고 Ollama 서버를 재실행해주시기 바랍니다. Ollama 서버 로그에서 환경변수들이 잘 적용되었는지 확인할 수 있습니다.</p>
<pre><code>2024/12/22 12:13:24 routes.go:1259: INFO server config env="map[CUDA_VISIBLE_DEVICES: GPU_DEVICE_ORDINAL: HIP_VISIBLE_DEVICES: HSA_OVERRIDE_GFX_VERSION: HTTPS_PROXY: HTTP_PROXY: NO_PROXY: OLLAMA_DEBUG:false OLLAMA_FLASH_ATTENTION:false OLLAMA_GPU_OVERHEAD:0 OLLAMA_HOST:http://0.0.0.0:11434 OLLAMA_INTEL_GPU:false OLLAMA_KEEP_ALIVE:5m0s OLLAMA_KV_CACHE_TYPE: OLLAMA_LLM_LIBRARY: OLLAMA_LOAD_TIMEOUT:5m0s OLLAMA_MAX_LOADED_MODELS:0 OLLAMA_MAX_QUEUE:512 OLLAMA_MODELS:C:\\Users\\user\\.ollama\\models OLLAMA_MULTIUSER_CACHE:false OLLAMA_NOHISTORY:false OLLAMA_NOPRUNE:false OLLAMA_NUM_PARALLEL:0 OLLAMA_ORIGINS:[* http://localhost https://localhost http://localhost:* https://localhost:* http://127.0.0.1 https://127.0.0.1 http://127.0.0.1:* https://127.0.0.1:* http://0.0.0.0 https://0.0.0.0 http://0.0.0.0:* https://0.0.0.0:* app://* file://* tauri://* vscode-webview://*] OLLAMA_SCHED_SPREAD:false ROCR_VISIBLE_DEVICES:]"</code></pre>
<p>외부 접속 설정에 대한 더 자세한 정보는 다음 공식 문서를 참고해주세요.</p>
<ul>
<li><a href="https://github.com/ollama/ollama/blob/main/docs/faq.md">ollama/docs/faq.md at main · ollama/ollama</a></li>
</ul>
<p>다음으로 Open WebUI만 실행하는 <code>docker-compose.yml</code> 파일을 준비합니다.</p>
<pre><code>services:
  open-webui:
    image: ghcr.io/open-webui/open-webui:main
    container_name: open-webui
    ports:
      - "18080:8080"
    environment:
      - OLLAMA_BASE_URL=&lt;OLLAMA_URL&gt;
    volumes:
      - open-webui:/app/backend/data
    restart: always

volumes:
  open-webui:
    driver: local</code></pre>
<p>여기서 <code>&lt;OLLAMA_URL&gt;</code>을 Ollama 서버 주소로 바꿔줍니다. 예를 들어서 로컬 네트워크 상에 있는 컴퓨터라면 아래와 비슷한 주소가 될 것입니다.</p>
<pre><code>http://192.168.0.99</code></pre>
<p>이제 서버를 실행합니다.</p>
<pre><code>$ docker-compose up</code></pre>
<p>서버가 정상적으로 실행되었다면 <code>localhost:18080</code> 주소로 Open WebUI에 접속할 수 있습니다.</p>
<h2 id="open-webui-사용법">Open WebUI 사용법<a href="#table-of-contents">#</a>
</h2>
<p>Open WebUI를 처음 실행하면 다음과 같은 화면이 나타납니다. 아래 Get started 버튼을 클릭해 관리자 계정을 생성합니다.</p>
<figure>
<img src="https://www.lainyzine.com/ko/article/building-llm-web-service-with-open-webuiassets/image%202.png" alt="Open WebUI 메인 페이지" width="1500" height="847" loading="lazy">
</figure>
<p>관리자 계정 생성을 진행합니다. 사용자 이름, 이메일, 패스워드를 입력합니다.</p>
<figure>
<img src="https://www.lainyzine.com/ko/article/building-llm-web-service-with-open-webuiassets/image%203.png" alt="Open WebUI 관리자 계정을 생성합니다" width="1333" height="1000" loading="lazy">
</figure>
<p>Open WebUI는 ChatGPT 웹 서비스와 유사한 인터페이스를 가지고 있습니다. ChatGPT를 사용해보았다면 익숙한 화면일 것입니다.</p>
<figure>
<img src="https://www.lainyzine.com/ko/article/building-llm-web-service-with-open-webuiassets/image%204.png" alt="Open WebUI 웹 서비스" width="1366" height="1000" loading="lazy">
</figure>
<p>하지만 처음 실행하면 모델이 없습니다. 이미 사용중인 Ollama를 연결했다면, 다운로드 받아둔 모델을 선택할 수 있습니다.</p>
<figure>
<img src="https://www.lainyzine.com/ko/article/building-llm-web-service-with-open-webuiassets/image%205.png" alt="아직 Ollama에 LLM 모델이 없습니다" width="1500" height="497" loading="lazy">
</figure>
<p>오른쪽 상단의 프로필 이미지를 클릭해 Admin Panel로 이동합니다. 상단의 Settings를 클릭하고, 왼쪽 사이드바의 Connections 설정으로 이동합니다.</p>
<figure>
<img src="https://www.lainyzine.com/ko/article/building-llm-web-service-with-open-webuiassets/image%206.png" alt="Admin Panel을 엽니다" width="1424" height="1000" loading="lazy">
</figure>
<p>여기서 Ollama API 설정의 오른쪽에 있는 Manage 버튼을 클릭합니다.</p>
<figure>
<img src="https://www.lainyzine.com/ko/article/building-llm-web-service-with-open-webuiassets/image%207.png" alt="Connection 메뉴에서 Ollama 설정을 엽니다" width="1500" height="735" loading="lazy">
</figure>
<p>여기에서 바로 모델을 다운로드 받을 수 있습니다. 여기서는 <code>gemma2:9b</code> 모델을 다운로드 받아보겠습니다.</p>
<figure>
<img src="https://www.lainyzine.com/ko/article/building-llm-web-service-with-open-webuiassets/image%208.png" alt="gemma2:9b 모델을 다운로드 받습니다" width="1145" height="1000" loading="lazy">
</figure>
<p>다운로드가 완료되면 왼쪽 사이드바의 New Chat을 클릭하고 Model을 선택합니다. gemma2:9b를 선택합니다.</p>
<figure>
<img src="https://www.lainyzine.com/ko/article/building-llm-web-service-with-open-webuiassets/image%209.png" alt="gemma2:9b 모델을 선택합니다" width="1500" height="566" loading="lazy">
</figure>
<p>gemma2:9b 모델을 사용해 로컬 LLM을 실행해봅니다.</p>
<figure>
<img src="https://www.lainyzine.com/ko/article/building-llm-web-service-with-open-webuiassets/image%2010.png" alt="gemma2 모델과 대화를 해본 예제" width="1025" height="1000" loading="lazy">
</figure>
<p>아주 잘 동작하는 것을 확인할 수 있습니다. 단, GPU, CPU, RAM 등 리소스들이 적절하게 사용되고 있는지를 확인하려면 Ollama 로그나 Ollama가 실행중인 서버의 상태를 직접 모니터링 해야합니다.</p>
<h2 id="ollama-서버-관리">Ollama 서버 관리<a href="#table-of-contents">#</a>
</h2>
<p>이 글에서는 Docker Compose로 Ollama와 Open WebUI를 실행했습니다. <code>docker ps</code>로 현재 실행중인 서버들을 확인할 수 있습니다.</p>
<pre><code>$ docker ps
CONTAINER ID   IMAGE                                COMMAND               CREATED       STATUS                 PORTS                     NAMES
498398252bc4   ghcr.io/open-webui/open-webui:main   "bash start.sh"       4 hours ago   Up 4 hours (healthy)   0.0.0.0:18080-&gt;8080/tcp   open-webui
0d80a933f6aa   ollama/ollama:latest                 "/bin/ollama serve"   4 hours ago   Up 4 hours             11434/tcp                 ollama</code></pre>
<p><code>docker logs</code> 명령어로 Ollama 서버의 로그를 확인할 수 있습니다.</p>
<pre><code>$ docker logs ollama</code></pre>
<p>Ollama 명령어를 직접 사용할 일이 있다면 <code>docker exec</code>로 서버에 접속할 수 있습니다.</p>
<pre><code>$ docker exec -it ollama bash
$ ollama --version
root@0d80a933f6aa:/#
ollama version is 0.5.4-0-g2ddc32d-dirty
root@0d80a933f6aa:/#</code></pre>
<p>lamma3.1:8b 모델을 다운로드 받아보겠습니다. 여기서 풀 받은 모델도 Open WebUI에서 그대로 사용할 수 있습니다.</p>
<pre><code>$ ollama pull llama3.1:8b
pulling manifest
...</code></pre>
<p>LLM 모델 용량이 상당히 크므로, 여러 모델을 다운로드 받거나 큰 모델을 다운로드 받을 때는 하드 디스크 용량도 신경을 써야합니다.</p>
<p>Ollama에서 사용가능한 모델 목록은 다음 페이지에서 확인할 수 있습니다.</p>
<ul>
<li><a href="https://ollama.com/search">Ollama - models</a></li>
</ul>
<p>Ollama에 대한 더 자세한 사용법은 다음 글에서 상세하고 소개합니다.</p>
<ul>
<li><a href="https://www.lainyzine.com/ko/article/ollama-installation-to-local-llm-model-execution/">Ollama 사용법: 설치부터 로컬 LLM 모델 실행까지</a></li>
</ul>
<h2 id="마치며">마치며<a href="#table-of-contents">#</a>
</h2>
<p>여기까지 Open WebUI를 셋업하고 사용하는 방법을 알아보았습니다. Open WebUI는 ChatGPT와 비슷한 인터페이스를 가지고 있어서, 사용법을 자세히 소개하지 않아도 충분히 활용할 수 있을 것이라고 생각합니다.</p>
<p>그 외에도 Open WebUI는 다양한 기능들을 지원하고 있습니다. 특히 다양한 모델들을 사용할 수 있는 만큼, 직접 다양한 모델들을 사용해보고, Open WebUI의 설정들을 살펴보시기 바랍니다.</p>
<p>그럼 로컬 LLM을 좀 더 쉽게 활용해보시기 바랍니다.</p>



</article>
</div></div>

LZ: 프로그래머 가이드

LainyZine

Open WebUI는 ChatGPT와 비슷한 인터페이스를 가진 로컬LLM 웹서비스입니다. Open WebUI를 활용하여 로컬 LLM을 웹서비스로 활용하는 방법을 소개합니다.
전체 기사는 이 링크에서 읽을 수 있습니다.

Open WebUI를 활용한 로컬 LLM 웹서비스(feat. Ollama)

댓글