kone
wayward-
wayward-

커스텀 워크플로우 wayward-imagegen 적용법

연구&팁
8,518 views · 7 points

이전글 : https://kone.gg/s/wayward-wml/cWsNoZ0QCLPyjWjTCdoQeb

이제 이미지 생성은 가능해졌으니 이미지 생성 속도를 높여 보도록 하자
속도를 높이는데 가장 좋은 방법은 현금술로 장비를 바꾸는 거지만
그거 보다는 돈 안 들고 간단한 커스텀 노드들을 활용해 보자

워크플로우 노드는 Easygen 모드의 anima 모델 기반으로 수정할 거고
image studio도 유사한 구조를 가지기 때문에 동일하게 적용 가능할 것으로 본다

aHR0cHM6Ly9hcmNhLmxpdmUvYi9haWFydC8xNzUzMDU3OTM
최적화 방법이나 방식에 관한 정보는 위 글을 참고하면 좋고

최적화를 위한 워크플로우 과정은 대충 아래와 있다

참고를 위한 기본 설정 생성 속도
1
1
1

기준 사양은 대충 이렇고 겜트북이라 원래 스펙에서 80~90% 정도임

1

1

step : 30 ,cfg :4, er_sde, sgm_unifrom 설정으로

대충 베이스 속도는 장당 25초 내외로 나온다

최적화된 모델 사용


그럼 가볍게 모델부터 하나씩 바꿔보자

kitchen Attention에 적합하게 int8로 양자화된 anima 모델
설치 받고 diffusion_models 폴더에 넣어주고

https://huggingface.co/Bedovyy/Anima-INT8/blob/main/anima-base-v1.0-int8convrot.safetensors

anima-base-v1.0-int8convrot.safetensors · Bedovyy/Anima-INT8 at main
We’re on a journey to advance and democratize artificial intelligence through open source and open science.


영상 생성에 쓰이는 기능 등이 제외된 더 가벼운 VAE
설치 받고 VAE폴더에 넣어주고
https://huggingface.co/Anzhc/Qwen2D-VAE

Anzhc/Qwen2D-VAE · Hugging Face
We’re on a journey to advance and democratize artificial intelligence through open source and open science.

1

1


모델만 바꿔주는 걸로 간단하게 약 55% 정도 빠른 16초 내외로 상승했다
여기까지는 모드 설정만 만져도 적용 가능한 부분이지만 여기서 더 가속해보자

커스텀 노드 사용

그러면 이번 글의 메인 디쉬인 커스텀 노드를 적용해보도록 하자
사용한 커스텀 노드는 간략하게 아래 2개만 사용하도록 하겠다

전달 과정에서 일부 정보를 캐시로 저장해서 속도를 높이는
TeaCache의 anima 최적화 버전인 ComfyUI-Anima-TeaCache

https://github.com/CocyNoric/ComfyUI-Anima-TeaCache

GitHub - CocyNoric/ComfyUI-Anima-TeaCache: TeaCache acceleration for the native ComfyUI implementation of circlestone-labs/Anima.
TeaCache acceleration for the native ComfyUI implementation of circlestone-labs/Anima. - CocyNoric/ComfyUI-Anima-TeaCache


샘플링 단계에서 점진적 확대를 통한 품질 저하를 방지한 가속 기능
이 탑재된 ComfyUI-Spectrum-KSampler
https://github.com/sorryhyun/ComfyUI-Spectrum-KSampler

GitHub - sorryhyun/ComfyUI-Spectrum-KSampler
Contribute to sorryhyun/ComfyUI-Spectrum-KSampler development by creating an account on GitHub.

설치법은 해당 링크에 있는 걸 참조해 GIT으로 설치하거나

1

매니저를 사용하고 있다면 검색해서 설치하면 된다

각각 lora 뒤쪽에 TeaCache 노드 ksampler 대신 KSampler(Spectrum) 노드를 배치

1
1


품질 저하 거의 없이 약 60% 가속되어서 터보 로라 없이도 10초 내외의 생성이 가능하다

이제 문제는 이렇게 적용한 커스텀 노드는 어디까지나 별도의 생성라인이고
실제 워크플로우는 wayward-imagegen 파일에 지정된 방식을 이용한다

이걸 우리가 만든 커스텀 워크플로우로 변경하는게 이번 글의 목표가 되시겠다

설치폴더\wml\mods\easygen\server\wayward-imagegen\src\comfy\workflows
로 이동해서 index.ts 파일을 확인해보자

1

내부에서 anima를 검색하면 모드 설정이 anima일 경우 사용하는 프롬프트 함수가 확인 가능하고

1

다시 검색해서 내려보면 ComfyGraph { } 블럭으로 구성된
우리가 수정해야 되는 기본 워크플로우를 확인할 수 있다
const 부분은 모드 설정에서 수정하는 부분이니 쭉 내려가서 우리가 변경할 부분은

1


요 두블럭이 되시겠다 첫 블럭은 lora 파일을 적용 순서대로 노드로 만들고
두 번째 노드는 우리가 변경할 KSamlper 노드다
일단 변경할 부분은 찾았으니 만들었던 워크플로우로 돌아가서

1

워크플로우를 JSON 파일로 출력해 우리가 읽을 수 있는 구조로 변경하자

1

열어서 각각 추가한 커스텀 노드를 검색하면
우리가 변경해야될 TeaCache와 SpectrumKSampler 의 정보를 확인할 수 있다
임의로 300번대 노드 번호를 사용하는 이유는
200번대는 lora 노드 생성에 사용하기 때문이다
참고로 imagegen 기본 워크플로우에서 수정한게 아니라면 연결된 노드 번호가 다를 수 있는데

1

index에 선언된 노드 번호로 바꿔주도록 하자

1

이제 index.ts 파일을 수정하기 전에 백업을 하나 만들어두고

1

이제 노드를 사이에 추가해줘야 하니 아래 노드를 복사해서 정보를 지우고 빈 노드를
로라 노드와 KSampler 사이에 배치하고

1

TeaCache 노드의 정보를 포맷에 맞게 채워 넣는다
대충 :앞에는 ““제거 그 외 ““는 ‘‘으로 변경 정도로 생각하면 된다
대신 모델 노드는 위쪽에 선언된 로라 노드의 마지막 노드인

1

노드로 변경하는 걸 잊지 말자

1

이제 Ksampler는 SpectrumKSampler 정보로 덮어 씌운다
여기는 추가가 아닌 수정이라 원한다면 노드 번호를 변경하지 않아도 좋다
seed - schedduler 부분은 설정 값에서 변동되는 변수 부분이니 수정하지 않도록 하자

변경할 때는 오타 등으로 실수하고 쉬우니
제미나이도 할수 있는 간단한 작업이라 AI한테 넘겨도 됨

1

index.ts 파일의 편집이 완료됐다면 이제 서버를 다시 시작하고
이미지 생성을 시도하면 변경된 워크플로우가 정상 적용된 것을 확인 할 수 있다
옵션 값이 다른 건 내가 쓰던 거랑 예시랑 달라서 그러니 크게 신경 쓰지 말자

사실 이 정도 작업은 AI에게 원본 , 작업물, 워크플로우 주면
어느 학습 가능한 부분이니 원리만 알면 제작 툴 만드는 것도 맡길 수 있을 거임

예제로 만든 ts파일은 공유함 모델이나 노드는 업데이트 등의 갱신 이슈가 있으니
위에 글에서 원본 링크에서 받는 걸 추천함
aHR0cHM6Ly9raW8uYWMvYy9iSDZpck9qY1gxUDFIWmRQMjFyQWVi

7
8 comments
[deleted] (edited )

Deleted comment.

아! 완벽히 이해했어(이해못함)
완벽한 정리글이다....
[deleted] (edited )

Deleted comment.

마지막에서 어떻게하는지 모르겠네 ㄷㄷ
어떤 부분 말씀하시는지 애매한데 Ksampler를 교체하는 부분이면 input 안에서 "ㅁㅁㅁ: 영문" 으로 되어있는 부분은 변수로 받아오는 부분이니까 유지 SpectrumKSampler 의 경우에는 Clip 노드도 받아오니 그 부분 추가 model은 anima 모델 - 로라 - 티캐쉬 순으로 이어왔으니 티캐쉬 노드번호인 ['303'.0] 으로 변경 그 외에 전용 input 값은 워크플로우에서 만든 값 그대로 가져온다 정도임다 어려우시면 그냥 ts받아서 덮어쓰셔도 되요
진짜 개어렵네 대학때 프로그래밍 어느정도 배웠었는데... 후 workflow동일하게 맞추려면 json 파일 있어야하는건가여
잘모르겠지만 ts파일을 역으로 json 프로그래밍 언어로 만들어달라고 해서 맞췄음요 ;;
All
Title
Body