<div id="readability-page-1" class="page"><div>
 Docker Compose로 간단하게 Ollama 시작하기
 
 
 근데 이제 Open WebUI를 곁들인
 
 
 
 </div><div v-pre="">
 
 <h2 id="대형-언어-모델-llm-large-language-model">대형 언어 모델 (LLM, Large Language Model)</h2>
LLM은 방대한 양의 데이터로 사전 학습된 초대형 딥 러닝 모델<a href="#fn:1" role="doc-noteref">1</a>이다.
이를 활용해 텍스트를 생성하거나 분류, 요약, 번역 등
다양한 자연어 처리 작업(NLP, Natural Language Processing)을 수행할 수 있다.
일반적으로 700억 개(70 Billion) 이상의 파라미터를 갖는 모델을 LLM이라고 한다.
70억 개 수준의 파라미터를 갖는 모델은 소규모 언어 모델(Small Language Model, SLM)이라고 한다.
이 사이에 중간 규모의 모델은 sLLM(smaller Large Language Model)이라고 한다.
Ollama는 오픈소스 LLM을 쉽게 실행할 수 있게 도와주는 도구다.
Open WebUI는 ChatGPT 화면처럼 LLM과 대화 시 웹 UI를 제공하는 오픈소스다.
이 2가지 도구를 Docker Compose로 실행해보자.
<h2 id="먼저-docker-compose-없이-ollma-실행해보기">먼저 Docker Compose 없이 Ollma 실행해보기</h2>
<div><pre tabindex="0"><code data-lang="python">from langchain_community.chat_models import ChatOllama
from langchain_core.prompts import ChatPromptTemplate

# Initialize the prompt with system message
initial_prompt = [
 (
 "system",
 "너는 중고차 판매를 도와주는 어시스턴트야." +
 "이름은 AMI야." +
 "존댓말을 해야 해." +
 "human이 우리 서비스의 자동차를 구매하도록 유도하고 관련 질문 아니면 대답해줄 수 없다고 해.",
 )
]


# Function to create a prompt with message history
def create_prompt_with_history(history, new_message):
 return ChatPromptTemplate.from_messages(history + [("human", new_message)])


# Initialize the model
llm = ChatOllama(
 model="llama3.1:8b",
 temperature=0,
)

# Conversation history
conversation_history = initial_prompt.copy()


# Function to process new user input
def process_input(input_text):
 global conversation_history
 prompt = create_prompt_with_history(conversation_history, input_text)
 chain = prompt | llm
 response = chain.invoke({"input": input_text})

 # Add the new messages to the conversation history
 conversation_history.append(("human", input_text))
 conversation_history.append(("assistant", response.content))

 return response.content


# Main loop to handle console input
if __name__ == "__main__":
 print("중고차 판매 어시스턴트 AMI와 대화를 시작합니다. 'exit'을 입력하면 종료됩니다.")

 while True:
 user_input = input("You: ")

 if user_input.lower() == 'exit':
 print("대화를 종료합니다.")
 break

 response = process_input(user_input)
 print("Assistant:", response)
</code></pre></div>위 스크립트를 실행하면 다음과 같이 대화를 할 수 있다.
<div><pre tabindex="0"><code data-lang="sh">중고차 판매 어시스턴트 AMI와 대화를 시작합니다. 'exit'을 입력하면 종료됩니다.
You: Hyundai 차 추천해줘.
Assistant: 죄송합니다. 저는 중고차 판매를 도와주는 어시스턴트로, 저는 직접 자동차를 추천할 수 없습니다. 그러나, 저는 Hyundai의 다양한 모델에 대한 정보를 제공할 수 있습니다.

Hyundai에는 여러 모델이 있지만, 가장 인기 있는 몇 가지 모델은 다음과 같습니다:

* Hyundai Elantra: 이 모델은 중형 세단으로, 내구성과 경제성을 강조합니다.
* Hyundai Sonata: 이 모델은 중형 세단으로, 스타일과 기능을 제공합니다.
* Hyundai Tucson: 이 모델은 소형 SUV로, 공간과 성능을 제공합니다.

이러한 정보는 구매자에게 도움이 될 수 있습니다. 그러나, 구매자는 직접 자동차를 방문하고 테스트해 보아야 합니다.

You: exit
대화를 종료합니다.
</code></pre></div>질문에 답변 시 GPU를 사용하는 것도 확인할 수 있다.
<img src="https://markruler.github.io/images/ai/ollama-openwebui-docker-compose/ollama-gpu.webp" alt="GPU 사용하는 프로그램">

<a href="https://github.com/open-webui/open-webui/blob/main/docker-compose.yaml">Open WebUI 레포지토리에 있는 docker-compose.yaml</a> 파일을 참조해서 실행해봤지만
답변 시 CPU를 사용하는 것을 확인할 수 있었다.
<img src="https://markruler.github.io/images/ai/ollama-openwebui-docker-compose/ollama-cpu-docker.webp" alt="CPU를 사용하는 Docker Ollama">
<a href="https://ollama.com/blog/ollama-is-now-available-as-an-official-docker-image">확인해보니</a> Windows에서 Docker로 실행할 경우 CPU를 사용한다.
<a href="https://docs.docker.com/compose/gpu-support/">Docker Compose 문서</a>를 참조해서 옵션을 추가한다.
<div><pre tabindex="0"><code data-lang="sh"># Docker로 실행할 경우
docker run -d --gpus=all -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama
</code></pre></div><div><pre tabindex="0"><code data-lang="yaml"># Docker Compose로 실행할 경우
services:
 ollama:
 volumes:
 - ollama:/root/.ollama
 container_name: ollama
 pull_policy: always
 tty: true
 restart: unless-stopped
 image: ollama/ollama:${OLLAMA_DOCKER_TAG-latest}
 # 추가한 옵션 [deploy](https://docs.docker.com/compose/gpu-support/)
 deploy:
 resources:
 reservations:
 devices:
 - driver: nvidia
 count: 1
 capabilities: [gpu]

 open-webui:
 build:
 context: .
 args:
 OLLAMA_BASE_URL: '/ollama'
 dockerfile: Dockerfile
 image: ghcr.io/open-webui/open-webui:${WEBUI_DOCKER_TAG-main}
 container_name: open-webui
 volumes:
 - open-webui:/app/backend/data
 depends_on:
 - ollama
 ports:
 - ${OPEN_WEBUI_PORT-3000}:8080
 environment:
 - 'OLLAMA_BASE_URL=http://ollama:11434'
 - 'WEBUI_SECRET_KEY='
 extra_hosts:
 - host.docker.internal:host-gateway
 restart: unless-stopped

volumes:
 ollama: {}
 open-webui: {}
</code></pre></div>실행 후 3000번 포트 혹은 <code>OPEN_WEBUI_PORT</code>로 지정한 포트로 접속하면 Open WebUI를 확인할 수 있다.
<img src="https://markruler.github.io/images/ai/ollama-openwebui-docker-compose/ollama-open-webui.webp" alt="Open WebUI 화면">
GPU를 사용하는 것도 확인할 수 있다.
<img src="https://markruler.github.io/images/ai/ollama-openwebui-docker-compose/ollama-gpu-docker.webp" alt="GPU 사용하는 Ollama Docker Container">
<h2 id="더-알아보기">더 알아보기</h2>
<ul>
<li><a href="https://youtu.be/cto0f7prJXs">(Youtube) LLM 발전 동향과 LLM 기업 활용 이슈와 대안 - 신정규 대표 (래블업)</a></li>
<li><a href="https://www.aladin.co.kr/shop/wproduct.aspx?ISBN=9791140708598">(Book) 랭체인으로 LLM 기반의 AI 서비스 개발하기 - 서지영</a> - 입문</li>
<li><a href="https://www.aladin.co.kr/shop/wproduct.aspx?ISBN=9791189909703">(Book) LLM을 활용한 실전 AI 애플리케이션 개발 - 허정준</a> - 입문 + 측정</li>
</ul>
<section role="doc-endnotes">
<hr>
<ol>
<li id="fn:1" role="doc-endnote">
<a href="https://aws.amazon.com/ko/what-is/large-language-model/">AWS</a>&nbsp;<a href="#fnref:1" role="doc-backlink">↩︎</a>
</li>
</ol>
</section>

 
 <hr id="EOF">
		 Last modified on 2024-08-01
 
 </div></div>

임창수 블로그

Changsu

임창수 블로그 https://markruler.github.io/posts/ai/ollama-openwebui-docker-compose/ -
대형 언어 모델 (LLM, Large Language Model)
LLM은 방대한 양의 데이터로 사전 학습된 초대형 딥 러닝 모델1이다.
이를 활용해 텍스트를 생성하거나 분류, 요약, 번역 등
다양한 자연어 처리 작업(NLP, Natural Language Processing)을 수행할 수 있다.
일반적으로 700억 개(70 Billion) 이상의 파라미터를 갖는 모델을 LLM이라고 한다.
70억 개 수준의 파라미터를 갖는 모델은 소규모 언어 모델(Small Language Model, SLM)이라고 한다.
이 사이에 중간 규모의 모델은 sLLM(smaller Large Language Model)이라고 한다.
Ollama는 오픈소스 LLM을 쉽게 실행할 수 있게 도와주는 도구다.
Open WebUI는 ChatGPT 화면처럼 LLM과 대화 시 웹 UI를 제공하는 오픈소스다.
이 2가지 도구를 Docker Compose로 실행해보자.
먼저 Docker Compose 없이 Ollma 실행해보기
from langchain_community.chat_models import ChatOllama
from langchain_core.prompts import ChatPromptTemplate
# Initialize the prompt with system message
initial_prompt = [
    (
        "system",
        "너는 중고차 판매를 도와주는 어시스턴트야." +
        "이름은 AMI야." +
        "존댓말을 해야 해." +
        "human이 우리 서비스의 자동차를 구매하도록 유도하고 관련 질문 아니면 대답해줄 수 없다고 해.",
    )
]
# Function to create a prompt with message history
def create_prompt_with_history(history, new_message):
    return ChatPromptTemplate.from_messages(history + [("human", new_message)])
# Initialize the model
llm = ChatOllama(
    model="llama3.1:8b",
    temperature=0,
)
# Conversation history
conversation_history = initial_prompt.copy()
# Function to process new user input
def process_input(input_text):
    global conversation_history
    prompt = create_prompt_with_history(conversation_history, input_text)
    chain = prompt | llm
    response = chain.invoke({"input": input_text})
    # Add the new messages to the conversation history
    conversation_history.append(("human", input_text))
    conversation_history.append(("assistant", response.content))
    return response.content
# Main loop to handle console input
if __name__ == "__main__":
    print("중고차 판매 어시스턴트 AMI와 대화를 시작합니다. 'exit'을 입력하면 종료됩니다.")
    while True:
        user_input = input("You: ")
        if user_input.lower() == 'exit':
            print("대화를 종료합니다.")
            break
        response = process_input(user_input)
        print("Assistant:", response)
위 스크립트를 실행하면 다음과 같이 대화를 할 수 있다.
중고차 판매 어시스턴트 AMI와 대화를 시작합니다. 'exit'을 입력하면 종료됩니다.
You: Hyundai 차 추천해줘.
Assistant: 죄송합니다. 저는 중고차 판매를 도와주는 어시스턴트로, 저는 직접 자동차를 추천할 수 없습니다. 그러나, 저는 Hyundai의 다양한 모델에 대한 정보를 제공할 수 있습니다.
Hyundai에는 여러 모델이 있지만, 가장 인기 있는 몇 가지 모델은 다음과 같습니다:
*   Hyundai Elantra: 이 모델은 중형 세단으로, 내구성과 경제성을 강조합니다.
*   Hyundai Sonata: 이 모델은 중형 세단으로, 스타일과 기능을 제공합니다.
*   Hyundai Tucson: 이 모델은 소형 SUV로, 공간과 성능을 제공합니다.
이러한 정보는 구매자에게 도움이 될 수 있습니다. 그러나, 구매자는 직접 자동차를 방문하고 테스트해 보아야 합니다.
You: exit
대화를 종료합니다.
질문에 답변 시 GPU를 사용하는 것도 확인할 수 있다.
Docker Compose 사용하기
Open WebUI 레포지토리에 있는 docker-compose.yaml 파일을 참조해서 실행해봤지만
답변 시 CPU를 사용하는 것을 확인할 수 있었다.
확인해보니 Windows에서 Docker로 실행할 경우 CPU를 사용한다.
Docker Compose 문서를 참조해서 옵션을 추가한다.
# Docker로 실행할 경우
docker run -d --gpus=all -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama
# Docker Compose로 실행할 경우
services:
  ollama:
    volumes:
      - ollama:/root/.ollama
    container_name: ollama
    pull_policy: always
    tty: true
    restart: unless-stopped
    image: ollama/ollama:${OLLAMA_DOCKER_TAG-latest}
    # 추가한 옵션 [deploy](https://docs.docker.com/compose/gpu-support/)
    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              count: 1
              capabilities: [gpu]
  open-webui:
    build:
      context: .
      args:
        OLLAMA_BASE_URL: '/ollama'
      dockerfile: Dockerfile
    image: ghcr.io/open-webui/open-webui:${WEBUI_DOCKER_TAG-main}
    container_name: open-webui
    volumes:
      - open-webui:/app/backend/data
    depends_on:
      - ollama
    ports:
      - ${OPEN_WEBUI_PORT-3000}:8080
    environment:
      - 'OLLAMA_BASE_URL=http://ollama:11434'
      - 'WEBUI_SECRET_KEY='
    extra_hosts:
      - host.docker.internal:host-gateway
    restart: unless-stopped
volumes:
  ollama: {}
  open-webui: {}
실행 후 3000번 포트 혹은 OPEN_WEBUI_PORT로 지정한 포트로 접속하면 Open WebUI를 확인할 수 있다.
GPU를 사용하는 것도 확인할 수 있다.
더 알아보기
(Youtube) LLM 발전 동향과 LLM 기업 활용 이슈와 대안 - 신정규 대표 (래블업)
(Book) 랭체인으로 LLM 기반의 AI 서비스 개발하기 - 서지영 - 입문
(Book) LLM을 활용한 실전 AI 애플리케이션 개발 - 허정준 - 입문 + 측정
AWS ↩︎
- https://markruler.github.io/posts/ai/ollama-openwebui-docker-compose/ - Im Changsu 2020 - 2024

Docker Compose로 간단하게 Ollama 시작하기

댓글