Stable Diffusion Web UI 사용해보기 (4) - LoRa, DreamBooth, HyperNetwork 사용법.

개요 :

이미지의 학습 강화 및 모델을 미세조정하기 위해 사용하는

LoRa, DreamBooth, HyperNetwork 의 개념... 은 간략히! 사용법을 위주로 알아봅니다.

사실 LoRa 추천하려고 쓴 문서임

---

1. 드림부스(추천도 ★★) :

기존 모델 위에 새로운 개념, 캐릭터 등을 매우 강화학습시킨 전용 모델

• 기본적으로 CheckPoint 형태(.Ckpt) 로 제공되며 다른 모델을 쓰듯이 사용합니다. (모델 다운로드 => Stable Diffusion 폴더/ LO
  • 다만 특정 학습시킨 키워드에 아주 민감하게 반응하도록 재훈련한 개념입니다.

이미 학습이 완료된 모델과 그 가중치를 그대로 가져와서, 새로운 학습 데이터를 훈련시켜 그 데이터에 대해 결과가 잘 나오도록 바꿔주는 과정입니다.

그 외에는 일반적으로 사용되는 "모델" 의 개념과 다를 것이 없으므로, 그냥 다운받아서 기존 사용 모델 대신 사용하고, 원하는 개념의 태그를 언급하는 것으로 사용할 수 있습니다.

드림부스를 자세히 알고 싶다면 : https://arca.live/b/hypernetworks/62775756?category=%EC%A0%95%EB%B3%B4&target=all&keyword=%EA%B7%B8%EB%9F%AC%EB%A9%B4%EC%84%9C+%EB%B0%A9%EB%8C%80%ED%95%9C+%EC%9E%90%EB%A3%8C%EB%A1%9C%EB%B6%80%ED%84%B0+%ED%95%99%EC%8A%B5%ED%95%B4%EC%99%94%EB%8D%98%EA%B1%B8+%EC%A0%90%EC%B0%A8+%EA%B9%8C%EB%A8%B9%EA%B8%B0+%EC%8B%9C%EC%9E%91%ED%95%9C%EB%8B%A4.&p=1

---

2. LoRa(추천도★★★★★) :

LoRA 란?

LoRA(Low-rank Adaption for Fast Text-to-Image Diffusion Fine-tuning)는,

1에서 설명한 드림부스와 달리

모델을 직접 건드리지 않고 추가 레이어에서 학습을 시키는 기술입니다.

드림부스와 비교해 장점은 다음과 같습니다.

• 속도가 두배 이상 빠름
• 이미지 생성에 추가 시간을 소모하지 않음
• 공유하기 위한 LoRa 모델의 용량이 적음 (레이어만 가지고 있기에)
• 다른 파인튜닝 방식에 비해 반영 퀄리티가 매우 높음.

다만, LoRa 역시 여전히 특정 모델에 종속적인 편입니다.

요구 사항은 다음과 같습니다.

• 6GB 이상의 VRam 및 Cuda 코어를 지원하는 그래픽카드.

---

Lora 사용법- GUI

0. https://civitai.com/혹은 https://huggingface.co/에서 필요한 Lora 를 다운받습니다.

(NSFW 주의..)

다운받을 경로는 Stable Diffusion /models/ Lora 폴더 입니다. 폴더로 구분하셔도 좋습니다.

1.생성 버튼 아래의 화투패 이미지를 누릅니다.

2. 다양한 확장 기능에 대한 이미지가 뜹니다. ( 미리 설정한 이미지가 없으면 빈 상태로 나옵니다)

3.Lora 탭에 들어가 다운받은 모델을 클릭합니다.

클릭하면 해당 로라를 로드하는 태그가 추가됩니다. (:숫자) 부분을 수정하여 배율 조절도 가능합니다.

만약 civitai 등 사이트에서 받으셨다면, "시동어"가 같이 명시되어 있는 것을 문서에서 찾으시면 됩니다.

시동어를 같이 입력하면...

해당 개념이 이미지에 반영됩니다.

다양한 Lora를 동시에 사용할 수 있으므로, 배율을 적절히 활용하면 좋습니다.

---

LoRa 사용을 매우 편하게 해주는 확장

https://github.com/civitai/sd_civitai_extension

https://github.com/butaixianran/Stable-Diffusion-Webui-Civitai-Helper

Civitai 에서 공식으로 배포한 Extension 과 좀더 잘 사용하게 도와주는 확장입니다.

이를 사용하면 훨씬 쉽게 Lora 를 사용할 수 있습니다.

설치법 :

1. 확장기능 탭에서 다음과 같이 주소를 입력하고 두 개 모두 설치합니다. 설치 후 UI를 재시작합니다.

2. 재시작과 동시에 Civitai 가 각 모델에 프리뷰와 정보를 추가해줍니다.

3. 스캔 버튼을 눌러 각 모델의 메타데이터를 CivitAI 에서 가져옵니다.

4. 이후에 다음과 같은 이미지가 Lora 모델에 마우스를 올리면 생깁니다. 필요에 따라 사용합시다.

---

3.하이퍼네트워크:(추천도★★) :

하이퍼네트워크는 정말 대충 설명하면 프롬프트의 전처리고, 좀 자세히 설명하면 프롬프트를 변형해서 모델의 가중치가 이를 고려해 적용하도록 하는 것입니다.

잘 정제된( 학습자 입장에서) 태그 목록을 통해 하이퍼네트워크를 사용한 사용자의 태그를 AI 에 넣기 전에 한번 수정해 준다고 생각하면 됩니다.

특정 모델 위에서 잘 작동하는 프롬프트 세트를 가지고 세팅해주므로 특정 모델에 종속적인 편입니다.

(해당 모델을 같이 받아줘야 제작자가 의도한 형태가 나올 가능성이 큽니다)

사용법:

1. 하이퍼네트워크와 Detail 에서 언급되는 체크포인트를 동시에 받아줍니다.

1. 다운받은 하이퍼네트워크를 stable-diffusion-webui\models\hypernetworks 에 저장합니다.
2. 화투패를 눌러 하이퍼네트워크 탭에 들어갑니다.

다운받은 하이퍼네트워크를 선택합니다.

1. 하이퍼네트워크 태그가 들어갑니다. (배율 조정 가능)
2. 이미지를 생성합니다.