<div id="readability-page-1" class="page"><div>
  
  
  <p><span>2024년 01월 22일 작성</span></p><h2 id="tldr">TL;DR</h2>

<p>M1 맥북프로 14인치 16G 모델에서 512x512 이미지 1장에 2~3초 정도 걸린다.</p>

<h2 id="시작하며">시작하며</h2>

<p>최근에 스테이블 디퓨전을 다시 해야할 일이 있어서 팔로우-업을 하고 있는데 SDXL-Turbo<sup id="fnref:1" role="doc-noteref"><a href="#fn:1" rel="footnote">1</a></sup> 가 꽤 재미있어 보였다. 예전에 segmind 의 ssd-1b<sup id="fnref:1:1" role="doc-noteref"><a href="#fn:1" rel="footnote">1</a></sup> 모델을 보면서 엄청 감탄한 적이 있었는데, stability.ai 에서도 비슷한 작업을 한 결과가 SDXL-Turbo 이다.</p>

<p>ADD (Adversarial Diffusion Distillation)<sup id="fnref:3" role="doc-noteref"><a href="#fn:3" rel="footnote">2</a></sup> 라는 방법을 통해 SDXL 에서 knowledge distillation 하여 3.1B 크기 모델을 만들었다.</p>

<p>이 모델이 맥북에서 잘 돌아간다고 해서 돌려보니 꽤 괜찮았다.</p>

<p>인스트럭션 같은 글은 잘 안올리는 편이지만 모델자체가 꽤 유용해서 어떻게 돌리는지 간단히 기록겸 정리해둔다.</p>

<p>아래 실험 환경은 M1 맥북프로 14인치 16G 기본모델이다.</p>

<h3 id="comfyui-클로닝">ComfyUI 클로닝</h3>

<p>SD 모델 WebUI 툴의 de facto 는 Automatic1111 이지만, 요새 로컬에서 좀 더 빠르게 돌리고 싶을땐 ComfyUI<sup id="fnref:4" role="doc-noteref"><a href="#fn:4" rel="footnote">3</a></sup> 를 많이 쓰는 것 같다.</p>

<p>모듈러 방식으로 UI 가 구성되어 있어서 모듈을 바꿔가면서 실험을 해야할 경우 Automatic1111 보다 더 나은것 같다.</p>

<p>ComfyUI 는 따로 설치 같은 개념이 없고 그냥 git 으로 클로닝하면 된다. 파이썬 서버이므로 pip 로 requirement.txt 에 있는 의존성을 설치해준다.</p>

<p>해당 레포의 README 에 Apple Mac Silicon 섹션을 참고하면 된다.</p>

<div><pre><code><span>$ </span>pip3 <span>install</span> <span>--pre</span> torch torchvision torchaudio <span>--extra-index-url</span> https://download.pytorch.org/whl/nightly/cpu
<span>$ </span>git clone https://github.com/comfyanonymous/ComfyUI
<span>$ </span><span>cd </span>ComfyUI
<span>$ </span>pip3 <span>install</span> <span>-r</span> requirements.txt
</code></pre></div>

<h3 id="sdxl-turbo-모델-다운로드">SDXL-Turbo 모델 다운로드</h3>

<p>SDXL-Turbo 모델은 stability.ai 에서 다운로드 받을 수 있다.</p>

<p>인터넷에 돌아다니는 모델 받는 방법은 크게 아래 3가지 인 것 같다.</p>

<ol>
  <li>huggingface-cli 로 받는 방법</li>
  <li>wget 으로 받는 방법</li>
  <li>git-lfs (large file storage)<sup id="fnref:5" role="doc-noteref"><a href="#fn:5" rel="footnote">4</a></sup> 로 받는 방법</li>
</ol>

<p>여기서는 3번째 방법으로 받았다. git-lfs 는 homebrew 로 설치하면 편하다. (홈페이지에 다양한 설치방법이 있음)</p>

<div><pre><code><span>$ </span>brew <span>install </span>git-lfs
<span>$ </span>git lfs <span>install</span> <span># only once per user account</span>
</code></pre></div>

<p>이후 git clone 으로 huggingface 모델 레포지토리에서 모델을 ComfyUI/models/checkpoints 폴더에 받는다.</p>

<div><pre><code><span>$ </span><span>cd </span>models/checkpoints
<span>$ </span>git clone https://huggingface.co/stabilityai/sdxl-turbo
</code></pre></div>

<p>fp32, fp16 모델 두개가 다 등록되어 있기 때문에, 합쳐서 대략 80기가 정도 받는다.</p>

<h3 id="comfyui-실행">ComfyUI 실행</h3>

<div><pre><code><span>$ </span><span>cd</span> ../.. <span># ComfyUI 루트 폴더로 이동</span>
<span>$ </span>python main.py <span>--force-fp16</span>
</code></pre></div>

<p>이후 브라우저에서 8188 포트로 접속하면 아래와 같은 화면을 볼 수 있다.</p>

<p><img src="https://haandol.github.io/assets/img/2024/0122/comfyui.png" alt=""></p>

<h3 id="이미지-생성">이미지 생성</h3>

<p>위의 워크플로우는 기본 템플릿이므로 이미지를 여러장 출력한다거나 하는 등 원하는대로 수정해서 쓰면 된다. 여기서는 워크플로우는 그대로 써본다.</p>

<p>왼쪽부터 오른쪽으로 실행되는 흐름이므로 하나씩 설정해주고 우측 상단에 있는 Queue Prompt 를 클릭하면 이미지가 생성된다.</p>

<p>먼저 체크포인트를 fp16 모델로 선택한다.</p>

<p><img src="https://haandol.github.io/assets/img/2024/0122/checkpoint.png" alt=""></p>

<p>다른건 딱히 설명할 게 없고 중간에 있는 KSampler 에서 <code>steps</code>, <code>cfg</code>, <code>sampler_name</code>, <code>scheduler</code> 만 아래 그림과 같이 설정해준다.</p>

<p>값은 각각, 1, 1.0, ‘euler’, ‘karras’ 이다.</p>

<p><img src="https://haandol.github.io/assets/img/2024/0122/ksampler.png" alt=""></p>

<p>각 값이 무슨 의미인지는 예전 글<sup id="fnref:6" role="doc-noteref"><a href="#fn:6" rel="footnote">5</a></sup>의 샘플러부분에 대충 적어두었다.</p>

<p>SDXL-Turbo 모델은 1~4 스텝이면 충분하다. 논문상에 따르면 사람이 선호도 측정했을때 50스텝 SDXL 와 4 스텝 SDXL-Turbo 의 차이가 거의 없다고 한다. 그리고 1 스텝만으로도 충분히 납득할만한 이미지가 나온다고 한다.</p>

<p>이렇게 해두고 Queue Prompt 를 클릭하면 이미지가 생성된다. 첫 이미지 생성은 모델 로드 시간이 좀 걸리지만, 두번째 이미지부터는 2~3초 정도 걸린다.</p>

<p><img src="https://haandol.github.io/assets/img/2024/0122/result.png" alt=""></p>

<h2 id="마치며">마치며</h2>

<p>이미지 생성 속도는 512x512 이미지 1장에 2~3초 정도 걸린다. AWS g5.8xlarge 나 inf2.12xlarge 에 해당 모델을 올려서 생성해보면 768x768 이미지 1장 생성시 0.25초 정도 걸린다.</p>

<p>참고로 AWS Bedrock 에는 SDXL 1.0 모델만 지원되는데, 50 스텝에 대략 2초정도 걸리고, 이는 inf2.12xlarge 에서의 속도와 비슷하다.</p>

<hr>



</div></div>

Haandol

TL;DR
M1 맥북프로 14인치 16G 모델에서 512x512 이미지 1장에 2~3초 정도 걸린다.
시작하며
최근에 스테이블 디퓨전을 다시 해야할 일이 있어서 팔로우-업을 하고 있는데 SDXL-Turbo1 가 꽤 재미있어 보였다. 예전에 segmind 의 ssd-1b1 모델을 보면서 엄청 감탄한 적이 있었는데, stability.ai 에서도 비슷한 작업을 한 결과가 SDXL-Turbo 이다.
ADD (Adversarial Diffusion Distillation)2 라는 방법을 통해 SDXL 에서 knowledge distillation 하여 3.1B 크기 모델을 만들었다.
이 모델이 맥북에서 잘 돌아간다고 해서 돌려보니 꽤 괜찮았다.
인스트럭션 같은 글은 잘 안올리는 편이지만 모델자체가 꽤 유용해서 어떻게 돌리는지 간단히 기록겸 정리해둔다.
아래 실험 환경은 M1 맥북프로 14인치 16G 기본모델이다.
ComfyUI 클로닝
SD 모델 WebUI 툴의 de facto 는 Automatic1111 이지만, 요새 로컬에서 좀 더 빠르게 돌리고 싶을땐 ComfyUI3 를 많이 쓰는 것 같다.
모듈러 방식으로 UI 가 구성되어 있어서 모듈을 바꿔가면서 실험을 해야할 경우 Automatic1111 보다 더 나은것 같다.
ComfyUI 는 따로 설치 같은 개념이 없고 그냥 git 으로 클로닝하면 된다. 파이썬 서버이므로 pip 로 requirement.txt 에 있는 의존성을 설치해준다.
해당 레포의 README 에 Apple Mac Silicon 섹션을 참고하면 된다.
$ pip3 install --pre torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/nightly/cpu
$ git clone https://github.com/comfyanonymous/ComfyUI
$ cd ComfyUI
$ pip3 install -r requirements.txt
SDXL-Turbo 모델 다운로드
SDXL-Turbo 모델은 stability.ai 에서 다운로드 받을 수 있다.
인터넷에 돌아다니는 모델 받는 방법은 크게 아래 3가지 인 것 같다.
huggingface-cli 로 받는 방법
wget 으로 받는 방법
git-lfs (large file storage)4 로 받는 방법
여기서는 3번째 방법으로 받았다. git-lfs 는 homebrew 로 설치하면 편하다. (홈페이지에 다양한 설치방법이 있음)
$ brew install git-lfs
$ git lfs install # only once per user account
이후 git clone 으로 huggingface 모델 레포지토리에서 모델을 ComfyUI/models/checkpoints 폴더에 받는다.
$ cd models/checkpoints
$ git clone https://huggingface.co/stabilityai/sdxl-turbo
fp32, fp16 모델 두개가 다 등록되어 있기 때문에, 합쳐서 대략 80기가 정도 받는다.
ComfyUI 실행
$ cd ../.. # ComfyUI 루트 폴더로 이동
$ python main.py --force-fp16
이후 브라우저에서 8188 포트로 접속하면 아래와 같은 화면을 볼 수 있다.
이미지 생성
위의 워크플로우는 기본 템플릿이므로 이미지를 여러장 출력한다거나 하는 등 원하는대로 수정해서 쓰면 된다. 여기서는 워크플로우는 그대로 써본다.
왼쪽부터 오른쪽으로 실행되는 흐름이므로 하나씩 설정해주고 우측 상단에 있는 Queue Prompt 를 클릭하면 이미지가 생성된다.
먼저 체크포인트를 fp16 모델로 선택한다.
다른건 딱히 설명할 게 없고 중간에 있는 KSampler 에서 steps, cfg, sampler_name, scheduler 만 아래 그림과 같이 설정해준다.
값은 각각, 1, 1.0, ‘euler’, ‘karras’ 이다.
각 값이 무슨 의미인지는 예전 글5의 샘플러부분에 대충 적어두었다.
SDXL-Turbo 모델은 1~4 스텝이면 충분하다. 논문상에 따르면 사람이 선호도 측정했을때 50스텝 SDXL 와 4 스텝 SDXL-Turbo 의 차이가 거의 없다고 한다. 그리고 1 스텝만으로도 충분히 납득할만한 이미지가 나온다고 한다.
이렇게 해두고 Queue Prompt 를 클릭하면 이미지가 생성된다. 첫 이미지 생성은 모델 로드 시간이 좀 걸리지만, 두번째 이미지부터는 2~3초 정도 걸린다.
마치며
이미지 생성 속도는 512x512 이미지 1장에 2~3초 정도 걸린다. AWS g5.8xlarge 나 inf2.12xlarge 에 해당 모델을 올려서 생성해보면 768x768 이미지 1장 생성시 0.25초 정도 걸린다.
참고로 AWS Bedrock 에는 SDXL 1.0 모델만 지원되는데, 50 스텝에 대략 2초정도 걸리고, 이는 inf2.12xlarge 에서의 속도와 비슷하다.
SDXL-Turbo ↩ ↩2
ADD ↩
ComfyUI ↩
git-lfs ↩
개발자를 위한 SD ↩

M1 맥북에서 ComfyUI 로 SDXL-Turbo 로 이미지 생성하기

댓글