ComfyUI 사용 및 후기

https://github.com/comfyanonymous/ComfyUI

현재 사람들이 사용하고 있는 Stable Diffusion의 표준이라면,

흔히 Automatic1111의 WebUI를 떠올릴 것이다.

△ SD UI의 초반부를 선점한 WebUI.
다양한 확장기능과 미세조정이 가능한 옵션들이 장점이지만, 반대로 모든 것이 다 한 화면 위에 계기판처럼 배치되어 있어 상대적으로 어지러운 느낌을 준다.

---

다만 WebUI 의 고질병인 확장성에 따른 더러워진 UI는 작업에 일부 장애물로 작용할 때가 있다.

이럴 때, Node 방식을 통해 새로운 형태의 UI를 제시한 UI 체계가 있으니,

바로 ComfyUI다.

---

특징

• 코드 작성 없이 복잡한 Stable Diffusion 워크플로우를 실험하고 생성하기 위한 노드/그래프/플로우차트 인터페이스
• SD1.x 및 SD2.x를 완전히 지원
• 비동기 큐 시스템
• 다음 실행 사이에 변경된 부분만 다시 실행하는 최적화 기능
• 명령 줄 옵션: lowvram (3GB 미만의 VRAM을 가진 GPU에서 자동으로 활성화됨)
• cpu (느림)로 GPU 없이도 작동 가능
• ckpt 및 safetensors 모델/체크포인트 모두 로드 가능. 독립형 VAE 및 CLIP 모델
• 임베딩/텍스트 역전
• Loras (일반 및 로컬)
• 생성된 PNG 파일에서 전체 워크플로우(시드 포함) 로드
• Json 파일로 워크플로우 저장/로드
• 노드 인터페이스를 사용하여 Hires fix 또는 훨씬 고급스러운 것과 같은 복잡한 워크플로우 생성 가능
• 영역 합성
• 정상 및 인페인팅 모델로 인페인팅 가능
• ControlNet 및 T2I-Adapter
• 업스케일 모델(ESRGAN, ESRGAN 변형, SwinIR, Swin2SR 등)
• 매우 빠르게 시작
• 완전 오프라인으로 작동하여 아무 것도 다운로드하지 않음.

워크플로우 예시는 예시 페이지에서 찾을 수 있습니다.

---

https://github.com/comfyanonymous/ComfyUI

이쪽에서 받아 사용할 수 있다.

 

평가

---

몇몇 테스트나 사용 후기들을 참고하고, 가볍게 사용해 봤는데..

WebUI 에 비해서는 일견 복잡해 보이기는 한데, 

로직 구성과 절차를 확실히 느끼기 좋다. 원래 블렌더를 쓰거나 UE5를 쓰는 등 로직 흐름에 익숙하면, 이쪽이 이해하기는 더 편할지도 모른다. 구성 설정 등을 전부 Json 으로 저장, 로드할 수 있어서 그런 면에서 제작 로직을 공유하기도 편하다.

 

WebUI가 일반적인 터미널 사용에 특화된 느낌이라면.. 아마 이쪽은 산업에서 사용하는데 좀더 가깝다는 느낌?

다만 접근성이 낮은 만큼 다양한 유저들이 참여해서 오픈소스가 강화되기는 약간 문턱이 높다고 느껴지기에,

굳이 따지자면 Unity3D 와 Unreal 5 의 느낌이다.

산업화 되고서의 역량은 이쪽이 더 위일 지도 모름.

 

Comfy UI 의 사용을 위해 가장 불편했던 부분이, 모델 및 로라, vae 등 저장하는 폴더가

Stable Diffusion 과  기본적으로는 공유되지 않는다는 사실이었는데, mklink를 사용하면 쉽게 연결이 가능해서, 

현재는 두 모델을 동시에 병용으로 사용할 수 있는 환경이 되었다.

다음 글에서 자세히 설명하려고 한다.

 

 

폴더 연결 튜토리얼 : 

 

https://dailyidea-dev.tistory.com/11

---