File size: 8,219 Bytes
6d60975 | 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 | # Anima Reference Adapter ์ฌ์ฉ ๊ฐ์ด๋
[English](guide.en.md) ยท **ํ๊ตญ์ด** ยท [ๆฅๆฌ่ช](guide.ja.md)
์ด ๊ฐ์ด๋๋ ComfyUI์ ์ด๋ํฐ๋ฅผ ์ค์นํ๊ณ , ์ฒซ ์ด๋ฏธ์ง๋ฅผ ๋ง๋ค๊ณ , ํ๋กฌํํธ๋ฅผ ์ฐ๊ณ , ๋ ์บ๋ฆญํฐ๋ฅผ ํจ๊ป ๊ทธ๋ฆฌ๊ณ ,
์ค์ ์ ์กฐ์ ํ๊ณ , ์์ฃผ ์๊ธฐ๋ ๋ฌธ์ ๋ฅผ ํด๊ฒฐํ๋ ๋ฐฉ๋ฒ์ ์์๋๋ก ์ค๋ช
ํฉ๋๋ค. ์๋ ์๋ฆฌ์ ์ธก์ ๊ฒฐ๊ณผ๋
[README](https://github.com/ElectronGirl/ComfyUI-Anima-Ref-Adapter/blob/main/README.ko.md)์ ์์ต๋๋ค.
## 1. ์ค๋น๋ฌผ
- Anima๋ฅผ ๋๋ฆด ์ ์๋ **ComfyUI**. ์ด๋ฏธ Anima๋ก ์ด๋ฏธ์ง๋ฅผ ๋ง๋ค๊ณ ์๋ค๋ฉด ์ค๋น๊ฐ ๋๋ ๊ฒ์
๋๋ค.
- [circlestone-labs/Anima](https://huggingface.co/circlestone-labs/Anima)์์ ๋ฐ๋ Anima ํ์ผ 3๊ฐ:
- `anima-base-v1.0.safetensors` โ `ComfyUI/models/diffusion_models/`
- `qwen_3_06b_base.safetensors` โ `ComfyUI/models/text_encoders/`
- `qwen_image_vae.safetensors` โ `ComfyUI/models/vae/`
- Anima๋ฅผ ๋๋ฆฌ๋ ๋ฐ ํ์ํ VRAM ์ธ์ ์ฝ 1GB๊ฐ ๋ ํ์ํฉ๋๋ค. 1MP ๋ ํผ๋ฐ์ค์ key/value๋ฅผ ์บ์ํด ๋๋ ๋ฐ ์ฐ์
๋๋ค.
8GB์ธ RTX 3060 Ti์์ ํ
์คํธํ์ต๋๋ค.
์ด๋ํฐ ๊ฐ์ค์น๋ ๋ฐ๋ก ๋ฐ์ง ์์๋ ๋ฉ๋๋ค. ์ฒ์ ์คํํ ๋ ๋
ธ๋๊ฐ ์ง์ ๋ฐ์์ต๋๋ค.
## 2. ๋
ธ๋ ์ค์น
```bash
cd ComfyUI/custom_nodes
git clone https://github.com/ElectronGirl/ComfyUI-Anima-Ref-Adapter.git
```
ComfyUI๋ฅผ ์ฌ์์ํฉ๋๋ค. git์ด ์๋ค๋ฉด GitHub์์ ZIP์ผ๋ก ๋ฐ์(Code โ Download ZIP)
`ComfyUI/custom_nodes/`์ ์์ถ์ ํ๋ฉด ๋ฉ๋๋ค.
## 3. ์ฒซ ์ด๋ฏธ์ง ๋ง๋ค๊ธฐ
1. [`anima_ref_adapter.json`](https://github.com/ElectronGirl/ComfyUI-Anima-Ref-Adapter/blob/main/workflows/anima_ref_adapter.json)์
๋ฐ์์ ComfyUI ํ๋ฉด์ ๋์ด๋ค ๋์ต๋๋ค. Anima์ ๊ธฐ๋ณธ text-to-image ์ํฌํ๋ก์ **Anima Ref Adapter** ๋
ธ๋
ํ๋๋ฅผ ๋ชจ๋ธ ๋ก๋์ KSampler ์ฌ์ด์ ๋ํ ๊ฒ์
๋๋ค.
2. **Load Image** ๋
ธ๋์์ ๋ ํผ๋ฐ์ค ์ด๋ฏธ์ง๋ฅผ ๊ณ ๋ฆ
๋๋ค.
3. ๊ธ์ ํ๋กฌํํธ์๋ ํ๋ฆฌํฐ ํ๊ทธ๋ฅผ ๊ทธ๋๋ก ๋๊ณ ์ฅ๋ฉด๋ง ์๋๋ค(4์ฅ ์ฐธ๊ณ ).
4. ์คํํฉ๋๋ค. ์ฒ์ ์คํํ ๋ `anima_ref_adapter_v2_r64.safetensors`(183MB)๋ฅผ `ComfyUI/models/loras/`๋ก
๋ฐ์์ค๊ณ , ๊ทธ๋ค์๋ถํฐ๋ ๋ฐ๋ก ์์ํฉ๋๋ค.
<img src="https://raw.githubusercontent.com/ElectronGirl/ComfyUI-Anima-Ref-Adapter/main/docs/showcase/v2_police.jpg" width="100%" alt="๋ ํผ๋ฐ์ค์ ๊ฒฐ๊ณผ">
## 4. ํ๋กฌํํธ ์ฐ๋ ๋ฒ
์บ๋ฆญํฐ(์ผ๊ตด, ๋จธ๋ฆฌ, ๋, ์์, ์ฅ์ ๊ตฌ)์ ๊ทธ๋ฆผ์ฒด์ ์๋น ๋ถ๋ถ์ ๋ ํผ๋ฐ์ค์์ ๊ฐ์ ธ์ต๋๋ค. ๋๋จธ์ง๋ ๋ชจ๋
ํ๋กฌํํธ์์ ์ ํฉ๋๋ค.
| ์ธ ๊ฒ | ์ฐ์ง ์์ ๊ฒ |
|---|---|
| ํ๋ฆฌํฐ ํ๊ทธ: `masterpiece, best quality, score_7, safe,` | ์บ๋ฆญํฐ ์ด๋ฆ |
| `1girl` ๋๋ `1boy`, ๊ทธ๋ฆฌ๊ณ `solo` | ์๊ฐ ํ๊ทธ |
| ๊ตฌ๋: `cowboy shot`, `full body`, `upper body`, `portrait` | ๋จธ๋ฆฌยท๋ยท์์ ํ๊ทธ(๋ช ๊ฐ ์ ๋๋ ๊ด์ฐฎ์ต๋๋ค) |
| ์์ธ์ ๋์: `sitting`, `lying, on side`, `holding cup` | |
| ํ์ : `smile`, `sleepy`, `laughing` | |
| ์ฅ์ยท์๊ฐยท์กฐ๋ช
: `cafe, indoors, day`, `beach, sunset` | |
์์: `masterpiece, best quality, score_7, safe, 1girl, solo, cowboy shot, sitting, cafe, holding cup, smile, looking at viewer, indoors, window, day`
๋์์ด ๋๋ ์ :
- ๋ ํผ๋ฐ์ค์ ๋ค๋ฅธ ์์ธ๋ฅผ ์ฐ๋ ๊ฒ์ด ์ข์ต๋๋ค. ์ด๋ํฐ๋ ๋ ํผ๋ฐ์ค์ ์์ธ๋ฅผ ๋ฐ๋ผ ํ์ง ์๋๋ก ํ์ต๋์๊ณ ,
ํ๋กฌํํธ์ ์์ธ๊ฐ ๋ถ๋ช
ํ๊ฒ ์ ํ ์์ผ๋ฉด ๊ทธ ํจ๊ณผ๊ฐ ๋ ํ์คํด์ง๋๋ค.
- ๋ ํผ๋ฐ์ค์ ๋ณด์ด์ง ์๋ ๋ถ๋ถ(์๋ฐ์ ์ด๋ฏธ์ง์ ๋ค๋ฆฌ, ์์์ ๋ท๋ฉด ๋ฑ)์ ๋ชจ๋ธ์ด ์ถ์ธกํด์ ๊ทธ๋ฆฝ๋๋ค.
์บ๋ฆญํฐ ์ ์ฒด๊ฐ ๋ณด์ด๋ ๋ ํผ๋ฐ์ค๋ฅผ ์ฐ๋ฉด ์์์ด ๋ ์ผ์ ํ๊ฒ ์ ์ง๋ฉ๋๋ค.
- ๋ถ์ ํ๋กฌํํธ๋ Anima ๋ชจ๋ธ ์นด๋์ ์๋ ๊ฒ์ ๊ทธ๋๋ก ์ฐ๋ฉด ๋ฉ๋๋ค.
## 5. ๋ ์บ๋ฆญํฐ ํจ๊ป ๊ทธ๋ฆฌ๊ธฐ
<img src="https://raw.githubusercontent.com/ElectronGirl/ComfyUI-Anima-Ref-Adapter/main/docs/showcase/v2_duo_police_mecha.jpg" width="100%" alt="๋ ํผ๋ฐ์ค ๋ ์ฅ๊ณผ ๊ฒฐ๊ณผ">
1. [`anima_ref_adapter_two_characters.json`](https://github.com/ElectronGirl/ComfyUI-Anima-Ref-Adapter/blob/main/workflows/anima_ref_adapter_two_characters.json)์
์ฝ๋๋ค. **Load Image** ๋
ธ๋ ๋ ๊ฐ๋ฅผ ๊ธฐ๋ณธ **Image Stitch** ๋
ธ๋๊ฐ ์ข์ฐ๋ก ์ด์ด ๋ถ์
๋๋ค.
2. ์ฒซ ๋ฒ์งธ ์ด๋ฏธ์ง์๋ ์ผ์ชฝ์ ์ฌ ์บ๋ฆญํฐ๋ฅผ, ๋ ๋ฒ์งธ ์ด๋ฏธ์ง์๋ ์ค๋ฅธ์ชฝ์ ์ฌ ์บ๋ฆญํฐ๋ฅผ ๋ฃ์ต๋๋ค.
3. `solo` ๋์ `2girls`(๋๋ `1boy, 1girl`, `2boys`)๋ฅผ ์ฐ๊ณ , ๋๊ฐ ์ด๋ ์ชฝ์ธ์ง ๋ช ๋จ์ด๋ก ์ ์ต๋๋ค.
`2girls, the girl on the left is a policewoman with black hair over one eye, the girl on the right is a mecha girl with aqua hair and mechanical wings, standing side by side, peace sign, smile, city, street, day`
4. 1216x832์ฒ๋ผ ๊ฐ๋ก๊ฐ ๊ธด ํฌ๊ธฐ๋ฅผ ์๋๋ค.
๋ ์บ๋ฆญํฐ๋ ์์ด์ง ์๊ณ ๋ฐ๋ก ๊ทธ๋ ค์ง์ง๋ง, ๊ทธ๋ฆผ์ฒด๋ ๋์ ์ค๊ฐ์ฏค์ผ๋ก ํ๋๋ก ๋ง์ถฐ์ง๋ ๊ฒฝํฅ์ด ์์ต๋๋ค.
## 6. ์ค์
๋ชจ๋ **Anima Ref Adapter** ๋
ธ๋์ ์์ต๋๋ค.
| ์ค์ | ๊ธฐ๋ณธ๊ฐ | ์ญํ |
|---|---|---|
| `ref_guidance` | 4.5 | ๋ ํผ๋ฐ์ค ์ชฝ์ผ๋ก ๋ฏธ๋ ์ธ๊ธฐ์
๋๋ค. ์บ๋ฆญํฐ๊ฐ ๋ฌ๋ผ์ง๋ฉด 5~6์ผ๋ก ์ฌ๋ฆฌ๊ณ , ์์ด ๋๋ฌด ์งํด์ง๋ฉด ๋ฎ์ถฅ๋๋ค. 1๋ก ๋๋ฉด ๋ชจ๋ธ์ ํ ๋ฒ ๋ ํธ์ถํ๋ฏ๋ก ๋น ๋ฅด์ง๋ง ์ฝํด์ง๋๋ค. |
| `correction` | `apg` | ๊ฐ์ด๋์ค๊ฐ ๋์ ๋ ์์ด ๊ณผํด์ง๋ ๊ฒ์ ๋ง์ต๋๋ค. `rescale`๋ ์ธ ์ ์๊ณ , `none`์ ๋๋๋ค. |
| `ref_end` | 1.0 | ์ํ๋ง ์งํ ์ค ์ด ์ง์ ๋ถํฐ `ref_guidance`๋ฅผ ๋ฉ์ถฅ๋๋ค. ๋ ํผ๋ฐ์ค ์์ฒด๋ ๋๊น์ง ์ ์ง๋ฉ๋๋ค. 0.6 ์ ๋๋ก ๋๋ฉด ๊ฑฐ์ ๊ฐ์ ๊ทธ๋ฆผ์ ๋ ๋นจ๋ฆฌ ์ป์ต๋๋ค. |
| `ref_megapixels` | 1.0 | ๋ ํผ๋ฐ์ค๋ฅผ ์ค์ด๊ฑฐ๋ ๋๋ฆฌ๋ ํฌ๊ธฐ์
๋๋ค. VRAM์ด ๋ถ์กฑํ๋ฉด 0.5~0.7๋ก ๋ฎ์ถฅ๋๋ค. |
| `strength` | 1.0 | ์ด๋ํฐ LoRA์ ์ธ๊ธฐ์
๋๋ค. |
๋ค๋ฅธ LoRA(๊ทธ๋ฆผ์ฒด, ๋ํ
์ผ ๋ฑ)๋ ์ด๋ํฐ ๋
ธ๋ **์**, ์ฆ ๋ชจ๋ธ ๋ก๋์ Anima Ref Adapter ์ฌ์ด์ ๋ก๋๋ค.
## 7. ๋ ๋น ๋ฅด๊ฒ
| ๋ฐฉ๋ฒ | ์ค์ | ํจ๊ณผ (RTX 3060 Ti, 832x1216) |
|---|---|---|
| turbo LoRA | Anima base์ฉ turbo LoRA๋ฅผ ์ด๋ํฐ ์์ ๋๊ณ 10 steps, cfg 1, `ref_guidance` 1 | 67์ด โ 11์ด. ๋ ํผ๋ฐ์ค ๊ทธ๋ฆผ์ฒด๋ ์ฝํด์ง๋๋ค. |
| `ref_guidance` 1 | ๋
ธ๋์์ ์ค์ | 67์ด โ 50์ด |
| SageAttention | KJNodes์ **Patch Sage Attention**์ ์ด๋ํฐ ์์ ๋ | ์ฝ 7% |
| EasyCache | ๊ธฐ๋ณธ **EasyCache** ๋
ธ๋๋ฅผ ์ด๋ํฐ ๋ค์ ๋ | ์ฝ 7% |
| `ref_end` 0.6 | ๋
ธ๋์์ ์ค์ | ์ฝ 7% |
## 8. ๋ฌธ์ ํด๊ฒฐ
| ์ฆ์ | ํด๊ฒฐ ๋ฐฉ๋ฒ |
|---|---|
| ๋ ํผ๋ฐ์ค๊ฐ ์๋๋ผ ํ๋ฒํ Anima ๊ทธ๋ฆผ์ด ๋์ต๋๋ค | KSampler์ `model` ์
๋ ฅ์ด ๋ชจ๋ธ ๋ก๋๊ฐ ์๋๋ผ **Anima Ref Adapter**์์ ์ค๋์ง ํ์ธํฉ๋๋ค. `ref_guidance`๋ฅผ ์ฌ๋ ค ๋ด
๋๋ค. |
| ์์ด ๋๋ฌด ์งํ๊ฑฐ๋ ํ ๊ฒ์ฒ๋ผ ๋ณด์
๋๋ค | `ref_guidance`๋ฅผ 3~4๋ก ๋ฎ์ถ๊ณ `correction`์ `apg`๋ก ๋ก๋๋ค. |
| ๋ ํผ๋ฐ์ค์ ์์ธ๋ฅผ ๊ทธ๋๋ก ๋ฐ๋ผ ํฉ๋๋ค | ํ๋กฌํํธ์ ๋ ํผ๋ฐ์ค์ ๋ค๋ฅธ ์์ธ์ ๊ตฌ๋๋ฅผ ๋ถ๋ช
ํ๊ฒ ์๋๋ค. |
| ๋ ํผ๋ฐ์ค ์บ๋ฆญํฐ๊ฐ ์ฅ๋ฉด ์์ ํฌ์คํฐ๋ ํผ๊ท์ด๋ก ๋ค์ ๋์ต๋๋ค | ์๋ ค์ง ํ๊ณ์
๋๋ค. ์๋๋ฅผ ๋ฐ๊พธ๊ฑฐ๋ `ref_guidance`๋ฅผ ๋ฎ์ถฅ๋๋ค. |
| ์๋ ๋ค์ด๋ก๋๊ฐ ์คํจํฉ๋๋ค | [`anima_ref_adapter_v2_r64.safetensors`](https://huggingface.co/ElectronGirl/anima-ref-adapter/blob/main/anima_ref_adapter_v2_r64.safetensors)๋ฅผ ์ง์ ๋ฐ์ `ComfyUI/models/loras/`์ ๋ฃ์ต๋๋ค. |
| ๋ฉ๋ชจ๋ฆฌ๊ฐ ๋ถ์กฑํฉ๋๋ค | `ref_megapixels`๋ฅผ ๋ฎ์ถ๊ฑฐ๋ ์ถ๋ ฅ ํฌ๊ธฐ๋ฅผ ์ค์
๋๋ค. |
| ํ์ผ๋ฟ ์ด๋ํฐ๋ฅผ ์ฐ๊ณ ์ถ์ต๋๋ค | [`anima_ref_adapter_advanced.json`](https://github.com/ElectronGirl/ComfyUI-Anima-Ref-Adapter/blob/main/workflows/anima_ref_adapter_advanced.json)์ ์๋๋ค. ํ์ผ๋ฟ์ ๋ ํผ๋ฐ์ค๊ฐ ์ถ๋ ฅ๊ณผ ๊ฐ์ ํฌ๊ธฐ์ฌ์ผ ํฉ๋๋ค. |
## 9. Forge Neo
Stable Diffusion WebUI Forge (Neo)์ฉ ํ์ฅ๋ ์์ต๋๋ค:
[sd-forge-anima-ref-adapter](https://github.com/ElectronGirl/sd-forge-anima-ref-adapter).
|