<div id="readability-page-1" class="page"><article id="post-9558">
				

							<div>
												
<h2>OS</h2>
<p>Ubuntu 가 좋다.<br>
차선으로는 윈도우에서 WSL2 를 실행하자.</p>
<h2>파이선 설치</h2>
<pre><code>python3 -V

# sudo apt-get update
sudo apt install python3-pip

# python3 -m pip config set global.break-system-packages true
pip install llama-stack</code></pre>
<h2>설치</h2>
<pre><code>git clone https://github.com/meta-llama/llama3</code></pre>
<h2>다운로드</h2>
<p><a href="https://llama.meta.com/llama-downloads/">https://llama.meta.com/llama-downloads/</a> 로 이동해서,<br>
등록을 한 후,</p>
<pre><code>pip install llama-stack
llama model list</code></pre>
<p>WSL2 의 경우 아래 오류가 발생한다.</p>
<pre><code>llama model list
'llama' is not recognized as an internal or external command,</code></pre>
<p>그럴 경우 Power Shell 을 관리자모드로 실행 후 아래명령을 실행한다.<br>
그리고 WSL2 에 재접속하면 오류가 해결된다.</p>
<pre><code>Set-ExecutionPolicy RemoteSigned</code></pre>
<h2>모델 선택</h2>
<h3>학습방식</h3>
<ul>
<li>
<p>Pretrained</p>
<p>Instruct/Guard 단어가 없는 모델. 기본모델.</p>
</li>
<li>
<p>Fine-tuned</p>
<p>Instruct 단어가 들어간 모델. 채팅등에 튜닝된 모델.</p>
</li>
<li>
<p>Trust and safety models</p>
<p>Guard 단어가 들어간 모델. ????</p>
</li>
</ul>
<h3>모델 사이즈</h3>
<ul>
<li>
<p>8B</p>
<p>소형 모델.</p>
</li>
<li>
<p>70B</p>
<p>중형 모델</p>
</li>
<li>
<p>405B</p>
<p>대형 모델. 800G 정도의 디스크 필요.</p>
</li>
</ul>
<h3>작동환경</h3>
<ul>
<li>
<p>MP16 (Model Parallel 16)</p>
<p>최소 8 GPU 를 가진 2 노드 필요.</p>
</li>
<li>
<p>MP8 (Model Parallel 8)</p>
<p>8 GPU 를 가진 1 노드 필요. dynamic FP8 (Floating Point 8) quantization<br>
속도가 느리지만 성능이 좋다.</p>
</li>
<li>
<p>FP8 (Floating Point 8)</p>
<p>8 GPU 를 가진 1 노드 필요. static FP quantization<br>
속도가 빠르지만 성능은 낮다.</p>
</li>
</ul>
<h2>모델 다운로드</h2>
<p>PC 에서도 작동하는 8B 를 설치한다.<br>
이메일을 확인해 URL 을 입력해 준다.</p>
<pre><code>llama model download --source meta --model-id Llama3.1-8B</code></pre>
<h2>torch 설치</h2>
<pre><code>python3 -m pip install torch</code></pre>
<h2>CUDA 설치</h2>
<p>WSL 의 경우 윈도우 지포스 드라이버가 사용되므로 별도의 드라이버를 설치할 필요가 없다.</p>
<pre><code>nvidia-smi</code></pre>
<pre><code>sudo apt update
sudo apt install build-essential</code></pre>
<p><a href="https://developer.nvidia.com/cuda-toolkit-archive">https://developer.nvidia.com/cuda-toolkit-archive</a> 에서 원하는 버전을 찾아 설치한다.</p>
<ul>
<li>python 3.7 ~ 3.10 + pyTorch 1.12.1 = CUDA 11.6</li>
<li>python 3.8 ~ 3.11 + pyTorch 2.1.2 = CUDA 12.1</li>
</ul>
<pre><code>wget https://developer.download.nvidia.com/compute/cuda/12.6.2/local_installers/cuda_12.6.2_560.35.03_linux.run
sudo sh cuda_12.6.2_560.35.03_linux.run</code></pre>
<pre><code>```

```bash</code></pre>
<pre><code></code></pre>
<pre><code></code></pre>
<pre><code></code></pre>
<pre><code></code></pre>
<p><span></span> <span>Post Views:</span> <span>14</span>
			</p>											</div>
		
	
	</article></div>

상구리의 기술 블로그

LLM – 놀아볼까?
OS
Ubuntu 가 좋다.
파이선 설치
python3 -V
# sudo apt-get update
sudo apt install python3-pip
# python3 -m pip config set global.break-system-packages true
pip install llama-stack
설치
git clone https://github.com/meta-llama/llama3
다운로드
https://llama.meta.com/llama-downloads/ 로 이동해서,
pip install llama-stack
llama model list
WSL2 의 경우 아래 오류가 발생한다.
llama model list
'llama' is not recognized as an internal or external command,
그럴 경우 Power Shell 을 관리자모드로 실행 후 아래명령을 실행한다.
Set-ExecutionPolicy RemoteSigned
모델 선택
학습방식
Pretrained
Instruct/Guard 단어가 없는 모델. 기본모델.
Fine-tuned
Instruct 단어가 들어간 모델. 채팅등에 튜닝된 모델.
Trust and safety models
Guard 단어가 들어간 모델. ????
모델 사이즈
8B
소형 모델.
70B
중형 모델
405B
대형 모델. 800G 정도의 디스크 필요.
작동환경
MP16 (Model Parallel 16)
최소 8 GPU 를 가진 2 노드 필요.
MP8 (Model Parallel 8)
8 GPU 를 가진 1 노드 필요. dynamic FP8 (Floating Point 8) quantization
FP8 (Floating Point 8)
8 GPU 를 가진 1 노드 필요. static FP quantization
모델 다운로드
PC 에서도 작동하는 8B 를 설치한다.
llama model download --source meta --model-id Llama3.1-8B
torch 설치
python3 -m pip install torch
CUDA 설치
WSL 의 경우 윈도우 지포스 드라이버가 사용되므로 별도의 드라이버를 설치할 필요가 없다.
nvidia-smi
sudo apt update
sudo apt install build-essential
https://developer.nvidia.com/cuda-toolkit-archive 에서 원하는 버전을 찾아 설치한다.
python 3.7 ~ 3.10 + pyTorch 1.12.1 = CUDA 11.6
python 3.8 ~ 3.11 + pyTorch 2.1.2 = CUDA 12.1
wget https://developer.download.nvidia.com/compute/cuda/12.6.2/local_installers/cuda_12.6.2_560.35.03_linux.run
sudo sh cuda_12.6.2_560.35.03_linux.run
```
```bash

LLM – 놀아볼까?

댓글