<div id="readability-page-1" class="page"><div>
 <div id="SE-53246659-b8e4-4521-972f-3b9262f18861">
 안녕하세요 멍개입니다.
​
이번 시간은 vllm을 이용하여 llm 서버를 구동하는 방법을 다뤄보려고 합니다.
​
vllm 또한 open AI 스펙을 제공하고 있습니다. 또한 빠른 연산을 위한 PagedAttetion(효율 적인 KV cache를 위한 기법)과 높은 처리량을 위한 Countinuous Batching을 제공합니다. 그리고 토큰 레벨 마이크로 배칭이 구현되어 있습니다.
​
vllm이 제공하는 여러 기법 설명은 위키독스에 자세히 설명되어 있으니 참고바랍니다.
​
<a href="https://wikidocs.net/337218" data-linktype="text" data-linkdata="{&quot;id&quot;: &quot;SE-4e08f95a-26cb-4fb9-ae38-a85cfafe2ca3&quot;, &quot;link&quot;: &quot;https://wikidocs.net/337218&quot;}" target="_blank">https://wikidocs.net/337218</a>

 </div> 
 <div id="SE-acb2eaf7-58c2-4960-a74a-7af1e9982093">
 간단하게 정리하면 Paged Attetion은 OS의 메모리/페이징 개념을 사용하며 배칭은 적절히 요청을 묶어 한번에 처리하는 기법입니다.
​
vllm은 여러 기법은 OS에서 사용하는 여러 기술을 활용하고 있습니다.
​
그리고 vllm은 gguf와 safetensors를 지원합니다.
​
· 설치

 </div> <div id="SE-0d897735-1ef4-4211-abe0-d997cc4ef86c">
 그리고 vllm은 허깅페이스에서 모델을 받아오므로 허깅페이스 로그인을 수행해줍니다.
 </div> <div id="SE-b35c7ecc-723b-4378-b786-875b4413c56c">
 $ vllm serve HuggingFaceTB/SmolLM2-1.7B-Instruct

# or

$ VLLM_USE_FLASHINFER_SAMPLER=0 vllm serve HuggingFaceTB/SmolLM2-1.7B-Instruct
 </div> <div id="SE-8f1a2cc2-3a41-462b-9a02-46d2c80f2676">
 <a href="#" onclick="return false;" data-linktype="img" data-linkdata="{&quot;id&quot; : &quot;SE-8f1a2cc2-3a41-462b-9a02-46d2c80f2676&quot;, &quot;src&quot; : &quot;https://mblogthumb-phinf.pstatic.net/MjAyNjA5MjZfMTEw/MDAxNzkwNDAxMDg2NzQ4.ce-RIDJ4yQX6VsKzkYzLVP81hE5rIj8HRPkvrdcmUOcg.HIk3SGM1lUOKRAVuDkzhATTF5ZJ_yKEjMYUJRL4-APwg.PNG/image.png&quot;, &quot;originalWidth&quot; : &quot;2545&quot;, &quot;originalHeight&quot; : &quot;1392&quot;, &quot;linkUse&quot; : &quot;false&quot;, &quot;link&quot; : &quot;&quot;, &quot;fileSize&quot;: &quot;639531&quot; }">
 <img src="https://mblogthumb-phinf.pstatic.net/MjAyNjA5MjZfMTEw/MDAxNzkwNDAxMDg2NzQ4.ce-RIDJ4yQX6VsKzkYzLVP81hE5rIj8HRPkvrdcmUOcg.HIk3SGM1lUOKRAVuDkzhATTF5ZJ_yKEjMYUJRL4-APwg.PNG/image.png?type=w800" data-width="693" data-height="379" alt="">
 </a>
 
 </div>
 <div id="SE-4cee649a-8b25-4c78-ab60-9c2f8675b36e">
 (APIServer pid=7684) INFO 09-26 14:09:00 [launcher.py:70] Route: /openapi.json, Methods: GET, HEAD
(APIServer pid=7684) INFO 09-26 14:09:00 [launcher.py:70] Route: /docs, Methods: GET, HEAD
(APIServer pid=7684) INFO 09-26 14:09:00 [launcher.py:70] Route: /docs/oauth2-redirect, Methods: GET, HEAD
(APIServer pid=7684) INFO 09-26 14:09:00 [launcher.py:70] Route: /redoc, Methods: GET, HEAD
(APIServer pid=7684) INFO 09-26 14:09:00 [launcher.py:70] Route: /load, Methods: GET
(APIServer pid=7684) INFO 09-26 14:09:00 [launcher.py:70] Route: /version, Methods: GET
(APIServer pid=7684) INFO 09-26 14:09:00 [launcher.py:70] Route: /health, Methods: GET
(APIServer pid=7684) INFO 09-26 14:09:00 [launcher.py:70] Route: /metrics, Methods: GET
(APIServer pid=7684) INFO 09-26 14:09:00 [launcher.py:70] Route: /tokenize, Methods: POST
(APIServer pid=7684) INFO 09-26 14:09:00 [launcher.py:70] Route: /detokenize, Methods: POST
(APIServer pid=7684) INFO 09-26 14:09:00 [launcher.py:70] Route: /v1/models, Methods: GET
(APIServer pid=7684) INFO 09-26 14:09:00 [launcher.py:70] Route: /ping, Methods: GET
(APIServer pid=7684) INFO 09-26 14:09:00 [launcher.py:70] Route: /ping, Methods: POST
(APIServer pid=7684) INFO 09-26 14:09:00 [launcher.py:70] Route: /invocations, Methods: POST
(APIServer pid=7684) INFO 09-26 14:09:00 [launcher.py:70] Route: /v1/chat/completions, Methods: POST
(APIServer pid=7684) INFO 09-26 14:09:00 [launcher.py:70] Route: /v1/chat/completions/batch, Methods: POST
(APIServer pid=7684) INFO 09-26 14:09:00 [launcher.py:70] Route: /v1/responses, Methods: POST
(APIServer pid=7684) INFO 09-26 14:09:00 [launcher.py:70] Route: /v1/responses/{response_id}, Methods: GET
(APIServer pid=7684) INFO 09-26 14:09:00 [launcher.py:70] Route: /v1/responses/{response_id}/cancel, Methods: POST
(APIServer pid=7684) INFO 09-26 14:09:00 [launcher.py:70] Route: /v1/completions, Methods: POST
(APIServer pid=7684) INFO 09-26 14:09:00 [launcher.py:70] Route: /v1/messages, Methods: POST
(APIServer pid=7684) INFO 09-26 14:09:00 [launcher.py:70] Route: /v1/messages/count_tokens, Methods: POST
(APIServer pid=7684) INFO 09-26 14:09:00 [launcher.py:70] Route: /generative_scoring, Methods: POST
(APIServer pid=7684) INFO 09-26 14:09:00 [launcher.py:70] Route: /scale_elastic_ep, Methods: POST
(APIServer pid=7684) INFO 09-26 14:09:00 [launcher.py:70] Route: /is_scaling_elastic_ep, Methods: POS
 </div> <div id="SE-207cb393-5ef2-4ef5-bdc2-de7c7305f2d9">
 $ curl http://localhost:8000/v1/chat/completions -H "Content-Type: application/json" -d '{
 "model": "HuggingFaceTB/SmolLM2-1.7B-Instruct",
 "messages": [
 {"role": "user", "content": "Hello! Introduce yourself briefly."}
 ],
 "max_tokens": 100
 }'
 </div> <div id="SE-44e95159-5326-490d-b7cd-017ba978ad2b">
 {
 "id": "chatcmpl-a47e6d9086ff5441",
 "object": "chat.completion",
 "created": 1790401132,
 "model": "HuggingFaceTB/SmolLM2-1.7B-Instruct",
 "choices": [
 {
 "index": 0,
 "message": {
 "role": "assistant",
 "content": "Hello! My name is SmolLM. I am a model based on the BERT language model, trained to assist users like you in understanding and engaging in natural language conversations. I was designed to provide clear, concise responses while avoiding grammatical errors and overly technical language if a discussion falls into a more casual setting or involves conversational nuances. I respond to base English language queries to the best of my abilities. If there's anything beyond my capabilities, I'll let you know!",
 "refusal": null,
 "annotations": null,
 "audio": null,
 "function_call": null,
 "reasoning": null
 },
 "logprobs": null,
 "finish_reason": "stop",
 "stop_reason": null,
 "token_ids": null,
 "routed_experts": null
 }
 ],
 "service_tier": null,
 "system_fingerprint": "vllm-0.30.0-nohash",
 "usage": {
 "prompt_tokens": 36,
 "total_tokens": 132,
 "completion_tokens": 96,
 "prompt_tokens_details": null,
 "completion_tokens_details": null
 },
 "prompt_logprobs": null,
 "prompt_token_ids": null,
 "prompt_text": null,
 "kv_transfer_params": null,
 "ec_transfer_params": null,
 "metrics": null
}
 </div> <div id="SE-02a57b2d-27c8-42d3-a404-46ddb9ab1523">
 $ vllm serve HuggingFaceTB/SmolLM2-1.7B-Instruct \
 --served-model-name smollm2 \
 --host 127.0.0.1 \
 --port 8000 \
 --gpu-memory-utilization 0.80 \
 --max-model-len 4096 \
 --max-num-seqs 8 \
 --max-num-batched-tokens 2048 \
 --enable-chunked-prefill \
 --enable-prefix-caching
 </div> <div id="SE-97b9b5d7-de76-4b60-9204-7d7e8ca44e64">
 --gpu-memory-utilization은 vllm이 사용할 수 있는 GPU VRAM 비율 입니다.
--max-model-len은 처리 가능한 최대 시퀀스 길이입니다. 이 값이 클 수록 KV 캐시용 메모리가 더 필요해집니다.
--max-num-seqs은 한 번에 동시 처리할 수 있는 최대 요청입니다.
--max-num-batched-tokens은 한 번의 배치에서 처리할 수 있는 총 토큰 상한성입니다. 프롬프트 처리와 생성된 토큰을 합친것보다 해당 옵션의 수치를 넘지 않도록 스케줄링됩니다. 작으면 처리량이 떨어지고 높으면 메모리 부담이 올라갑니다.
--enable-chunked-prefill은 긴 프로픔트를 한 번에 처리하지 않고 여러 청크로 나눠서 처리
--enable-prefix-caching은 동일한 prefix를 가진 요청들의 KV 캐시를 재사용 
​
· 다른 추론서버에서 백엔드 지원
vllm을 그대로 사용할 수 있지만 운영 관점에서 하나의 엔드포인트를 두고 여러 서버를 구동시킬 수 있습니다. 여러 추론 서버 도구가 있지만 nvidia의 triton은 vllm을 백엔드로 지원합니다.
<a href="https://docs.nvidia.com/deeplearning/triton-inference-server/user-guide/docs/vllm_backend/README.html" data-linktype="text" data-linkdata="{&quot;id&quot;: &quot;SE-aed889f6-91e6-4983-8651-9f16ca21bbed&quot;, &quot;link&quot;: &quot;https://docs.nvidia.com/deeplearning/triton-inference-server/user-guide/docs/vllm_backend/README.html&quot;}" target="_blank">https://docs.nvidia.com/deeplearning/triton-inference-server/user-guide/docs/vllm_backend/README.html</a>

 </div> 
 
 
 </div></div>

삽질하는 멍개씨

안녕하세요 멍개입니다. 이번 시간은 vllm을 이용하여 llm 서버를 구동하는 방법을 다뤄보려고 합니다. vllm 또한 open AI 스펙을 제공하고 있습니다. 또한 빠른 연산을 위한 PagedAttetion(효율 적인 KV cache를 위한 기법)과 높은 처리량을 위한 Countinuous Batching을 제공합니다. 그리고 토큰 레벨 마이크로 배칭이 구현되어 있습니다. vllm이 제공하는 여러 기법 설명은 위키독스에 자세히 설명되어 있으니 참고바랍니다. https://wikidocs.net/337218 간단하게 정리하면 Paged Attetion은 OS의 메모리/페이징 개념을 사용하며 배칭은 적절히 요청을 묶어 한번에 처리하는 기법입니다. vllm은 여러 기법은 OS에서 사용하는 여러 기술을 활.......

[LLM] vllm을 이용하여 llm 제공 서버를 구동해보자

댓글