<div id="readability-page-1" class="page"><div id="body-inner">
          
            <h2>
              
              로컬에서 Llamafile 돌려보기
            </h2>
          

        


<h2 id="소개">소개</h2>
<p>llamafile은 하나의 파일로 로컬환경에서 텍스트 생성형 AI-Llama를 쉽게 돌릴 수 있는 툴이다.</p>
<ul>
<li>공식 홈페이지 : <a href="https://github.com/Mozilla-Ocho/llamafile">https://github.com/Mozilla-Ocho/llamafile</a></li>
</ul>
<p>현재 실행파일내에 embed헝태로 지원하는 모델은 3개이다</p>
<ol>
<li><a href="https://huggingface.co/mistralai/Mistral-7B-Instruct-v0.1">Mistral-7B-Instruct</a> : 텍스트 생성 AI</li>
<li><a href="https://llava-vl.github.io/">LLaVA 1.5</a> : 이미지 인식 텍스트 생성형 AI</li>
<li><a href="https://huggingface.co/WizardLM/WizardCoder-Python-13B-V1.0">WizardCoder-Python-13B</a> : 파이썬 코딩 특화 LLM</li>
</ol>
<p>현재 *nix, mac, windows모두 지원한다.
(하지만 윈도우즈에서는 실행파일 크기가 4G가 넘으면 실행이 불가한 문제로 <a href="https://github.com/Mozilla-Ocho/llamafile#gotchas">모델파일을 따로 다운로드 하고 인수로 넘겨서 실행해야 한다</a>)</p>
<h3 id="테스트-환경">테스트 환경</h3>
<ul>
<li>CPU : Intel i5 6600</li>
<li>Memory : 32G</li>
<li>GPU : 사용하지 않음</li>
</ul>
<h2 id="제약사항">제약사항</h2>
<ol>
<li>메모리가 최소 런타임 파일 사이즈 만큼 필요. 예를 들어 <a href="https://huggingface.co/mistralai/Mistral-7B-Instruct-v0.1">Mistral-7B-Instruct</a>의 경우 사이즈가 4G이므로 메모리를 4G이상 사용한다.</li>
<li>GPU를 사용하지 않을 경우 CPU 사용량이 엄청 높다(응답 생성시 100%사용, 아이들링시에도 35% 정도 사용). 그래서 GPU가 필수일 듯</li>
</ol>
<h2 id="테스트">테스트</h2>
<ul>
<li>
<p>초기화면에서 옵션을 설정할 수 있다. <img src="https://bluedskim.github.io/posts/images/llama-cpp-chat0.png" alt="초기화면"></p>
</li>
<li>
<p>한글도 잘 된다. 하지만 중간에 응답이 끊겼다 <img src="https://bluedskim.github.io/posts/images/llama-cpp-chat2.png" alt="한글 테스트"></p>
</li>
</ul>
<h2 id="결론">결론</h2>
<p>시스템 리소스를 너무 많이 써서 실사용이 힘들다. GPU가 있는 고사양 장비를 가지고 있는 분들은 시도해볼만 하겠다. 그래서 나는 그냥 ChatGTP를 계속 쓰기로…</p>




        
        </div></div>

Do What You Want To Do

소개 llamafile은 하나의 파일로 로컬환경에서 텍스트 생성형 AI-Llama를 쉽게 돌릴 수 있는 툴이다. 공식 홈페이지 : https://github.com/Mozilla-Ocho/llamafile 현재 실행파일내에 embe

로컬에서 Llamafile 돌려보기

댓글