Gerchegg commited on
Commit
cbada69
·
verified ·
1 Parent(s): 6aa4279

Fix Image2Image: use QwenImageImg2ImgPipeline instead of AutoPipeline

Browse files
Files changed (1) hide show
  1. README.md +241 -241
README.md CHANGED
@@ -1,241 +1,241 @@
1
- ---
2
- title: Qwen Soloband Advanced - Txt2Img + Img2Img + LoRA
3
- emoji: 🎨
4
- colorFrom: blue
5
- colorTo: purple
6
- sdk: gradio
7
- sdk_version: "5.9.1"
8
- app_file: app.py
9
- pinned: true
10
- license: apache-2.0
11
- suggested_hardware: a100-large
12
- suggested_storage: large
13
- models:
14
- - Gerchegg/Qwen-Soloband-Diffusers
15
- - InstantX/Qwen-Image-ControlNet-Union
16
- tags:
17
- - image-generation
18
- - image-to-image
19
- - controlnet
20
- - lora
21
- - qwen
22
- - diffusers
23
- - multi-modal
24
- short_description: Advanced Qwen image generation with full toolkit
25
- preload_from_hub:
26
- - Gerchegg/Qwen-Soloband-Diffusers
27
- - InstantX/Qwen-Image-ControlNet-Union
28
- ---
29
-
30
- # 🎨 Qwen Soloband Advanced
31
-
32
- **Комплексная система генерации изображений** на базе Qwen-Image DiT с полным набором инструментов для профессиональной работы.
33
-
34
- ## 🚀 Основные возможности
35
-
36
- ### 📝 Text-to-Image
37
- Генерация изображений из текстовых описаний:
38
- - 🎨 Кастомная fine-tuned модель Qwen-Soloband
39
- - 📐 Разрешения от 512×512 до 2048×2048
40
- - ⚙️ Полный контроль параметров (steps, CFG, seed)
41
- - 🎯 Оптимизированные настройки для лучшего качества
42
-
43
- ### 🔄 Image-to-Image
44
- Модификация и трансформация существующих изображений:
45
- - 🖼️ Загрузка любых изображений (PNG, JPG, WebP)
46
- - 🎚️ **Denoising Strength** (0.0-1.0) - точный контроль степени изменения
47
- - 🎨 Сохранение структуры при изменении стиля
48
- - ✨ Улучшение качества, стилизация, художественная трансформация
49
-
50
- ### 🎮 ControlNet
51
- Точное управление композицией и структурой:
52
- - 🖊️ **Canny Edge** - контроль по контурам и краям
53
- - 🌄 **Depth Map** - контроль по глубине сцены
54
- - 🤸 **Pose** - контроль по позе персонажей (OpenPose)
55
- - 🎚️ **Control Strength** (0.0-2.0) - сила воздействия ControlNet
56
- - 🔀 Комбинируется с LoRA для расширенных возможностей
57
-
58
- ### 🎭 LoRA Styles
59
- Динамическая загрузка стилей для разнообразия:
60
- - 📸 **Realism** - фотореалистичные изображения
61
- - 🎌 **Anime** - современный японский стиль аниме
62
- - 📽️ **Analog Film** - эффект винтажной пленочной фотографии
63
- - 🎚️ **LoRA Scale** (0.0-2.0) - интенсивность стиля
64
- - 🔗 Работает во всех режимах (Text2Img, Img2Img, ControlNet)
65
-
66
- ## 🔌 API Usage
67
-
68
- ### Text-to-Image API
69
-
70
- ```python
71
- from gradio_client import Client
72
-
73
- client = Client("Gerchegg/Qwen-ImageForFlo-Advanced")
74
-
75
- result = client.predict(
76
- prompt="SB_AI, a beautiful landscape",
77
- negative_prompt="blurry, low quality",
78
- width=1664,
79
- height=928,
80
- seed=42,
81
- randomize_seed=False,
82
- guidance_scale=2.5,
83
- num_inference_steps=40,
84
- lora_name="None", # или "Realism", "Anime", "Analog Film"
85
- lora_scale=1.0,
86
- api_name="/text2img"
87
- )
88
-
89
- image, seed = result
90
- ```
91
-
92
- ### Image-to-Image API
93
-
94
- ```python
95
- result = client.predict(
96
- input_image="path/to/image.png", # PIL Image или path
97
- prompt="Transform this into a painting",
98
- negative_prompt="blurry, low quality",
99
- strength=0.75, # 0.0-1.0, больше = сильнее изменение
100
- seed=42,
101
- randomize_seed=False,
102
- guidance_scale=2.5,
103
- num_inference_steps=40,
104
- lora_name="Analog Film",
105
- lora_scale=1.0,
106
- api_name="/img2img"
107
- )
108
-
109
- image, seed = result
110
- ```
111
-
112
- ### ControlNet API
113
-
114
- ```python
115
- result = client.predict(
116
- input_image="path/to/image.png",
117
- prompt="A woman in futuristic outfit",
118
- control_type="Pose", # "Canny", "Depth", "Pose"
119
- negative_prompt="blurry, low quality",
120
- controlnet_scale=1.0, # 0.0-2.0
121
- seed=42,
122
- randomize_seed=False,
123
- guidance_scale=5.0,
124
- num_inference_steps=30,
125
- lora_name="Realism",
126
- lora_scale=1.0,
127
- api_name="/controlnet"
128
- )
129
-
130
- generated_image, control_preview, seed = result
131
- ```
132
-
133
- ## 💡 Примеры использования
134
-
135
- ### Text-to-Image
136
- ```
137
- Prompt: "SB_AI, a beautiful mountain landscape at sunset, detailed"
138
- Size: 1664×928
139
- Steps: 40, CFG: 2.5
140
- LoRA: None
141
- ```
142
-
143
- ### Image-to-Image
144
- ```
145
- Input: фото человека
146
- Prompt: "Transform into oil painting style"
147
- Strength: 0.75 (сохранить структуру, изменить стиль)
148
- LoRA: Analog Film
149
- ```
150
-
151
- ### ControlNet
152
- ```
153
- Input: фото позы человека
154
- Control: Pose (извлекает скелет)
155
- Prompt: "A superhero in the same pose"
156
- Control Scale: 1.0
157
- LoRA: Realism
158
- ```
159
-
160
- ## 🎭 Доступные LoRA
161
-
162
- | Name | Trigger Word | Description |
163
- |------|--------------|-------------|
164
- | **Realism** | "Super Realism portrait of" | Фотореалистичные изображения |
165
- | **Anime** | "Japanese modern anime style, " | Современное аниме |
166
- | **Analog Film** | "fifthel" | Эффект пленочной фотографии |
167
-
168
- LoRA автоматически добавляют trigger words к промпту.
169
-
170
- ## 📊 Параметры
171
-
172
- ### Denoising Strength (Image2Image)
173
- - **0.0-0.3**: Минимальные изменения, сохранение деталей
174
- - **0.4-0.6**: Умеренные изменения, баланс
175
- - **0.7-0.9**: Сильные изменения, новое изображение
176
- - **1.0**: Полная перерисовка
177
-
178
- ### ControlNet Scale
179
- - **0.0**: Нет контроля (как Text2Image)
180
- - **0.5**: Слабый контроль, творческая свобода
181
- - **1.0**: Нормальный контроль (рекомендуется)
182
- - **1.5-2.0**: Жесткий контроль, точное следование
183
-
184
- ### LoRA Scale
185
- - **0.0**: Без эффекта
186
- - **0.5**: Слабый эффект стиля
187
- - **1.0**: Нормальный эффект (рекомендуется)
188
- - **1.5-2.0**: Сильный эффект стиля
189
-
190
- ## 🔧 Технические детали
191
-
192
- ### Модели:
193
- - **Base**: Gerchegg/Qwen-Soloband-Diffusers
194
- - **ControlNet**: InstantX/Qwen-Image-ControlNet-Union
195
- - **LoRAs**: Различные (загружаются динамически)
196
-
197
- ### Препроцессоры:
198
- - **Canny**: OpenCV edge detection
199
- - **Depth**: Grayscale depth approximation
200
- - **Pose**: OpenPose (если доступен)
201
-
202
- ### Оптимизации:
203
- - VAE tiling для больших изображений
204
- - VAE slicing для batch
205
- - Автоматическое управление LoRA
206
-
207
- ## 💰 Требования
208
-
209
- - **GPU**: A100 (80GB) или A40 (48GB)
210
- - **VRAM**: ~40GB для базовой модели + ~2GB для ControlNet
211
- - **Storage**: ~50GB (модели)
212
-
213
- ## 📚 Дополнительная информация
214
-
215
- - **Base Model**: [Qwen-Soloband-Diffusers](https://huggingface.co/Gerchegg/Qwen-Soloband-Diffusers)
216
- - **ControlNet**: [InstantX/Qwen-Image-ControlNet-Union](https://huggingface.co/InstantX/Qwen-Image-ControlNet-Union)
217
- - **Qwen-Image**: [Qwen/Qwen-Image](https://huggingface.co/Qwen/Qwen-Image)
218
- - **Diffusers Docs**: [Image-to-Image Guide](https://huggingface.co/docs/diffusers/using-diffusers/img2img)
219
-
220
- ## ⚠️ Важные замечания
221
-
222
- ### Image2Image для Qwen
223
- Этот Space использует специализированный `QwenImageImg2ImgPipeline` для корректной работы с Qwen-Image архитектурой. В отличие от обычных Stable Diffusion моделей, Qwen-Image требует:
224
- - Специальное кодирование изображений через `AutoencoderKLQwenImage`
225
- - Параметр `true_cfg_scale` вместо `guidance_scale`
226
- - Специальную упаковку латентов (packing 2x2)
227
-
228
- ### ControlNet
229
- ControlNet для Qwen-Image использует Union модель, которая поддерживает несколько типов контроля одновременно.
230
-
231
- ### LoRA
232
- LoRA загружаются динамически и автоматически добавляют trigger words к промптам.
233
-
234
- ## 📝 License
235
-
236
- Apache 2.0
237
-
238
- ## 🔧 Development Notes
239
-
240
- ⚠️ **В разработке**: Image2Image pipeline требует использования `QwenImageImg2ImgPipeline` вместо `AutoPipelineForImage2Image`. См. техническую документацию для деталей.
241
-
 
1
+ ---
2
+ title: Qwen Soloband Advanced - Img2Img + ControlNet + LoRA
3
+ emoji: 🎨
4
+ colorFrom: blue
5
+ colorTo: purple
6
+ sdk: gradio
7
+ sdk_version: "5.9.1"
8
+ app_file: app.py
9
+ pinned: true
10
+ license: apache-2.0
11
+ suggested_hardware: a100-large
12
+ suggested_storage: large
13
+ models:
14
+ - Gerchegg/Qwen-Soloband-Diffusers
15
+ - InstantX/Qwen-Image-ControlNet-Union
16
+ tags:
17
+ - image-generation
18
+ - image-to-image
19
+ - controlnet
20
+ - lora
21
+ - qwen
22
+ - diffusers
23
+ - multi-modal
24
+ short_description: Advanced Qwen image generation with full toolkit
25
+ preload_from_hub:
26
+ - Gerchegg/Qwen-Soloband-Diffusers
27
+ - InstantX/Qwen-Image-ControlNet-Union
28
+ ---
29
+
30
+ # 🎨 Qwen Soloband Advanced
31
+
32
+ **Комплексная система генерации изображений** на базе Qwen-Image DiT с полным набором инструментов для профессиональной работы.
33
+
34
+ ## 🚀 Основные возможности
35
+
36
+ ### 📝 Text-to-Image
37
+ Генерация изображений из текстовых описаний:
38
+ - 🎨 Кастомная fine-tuned модель Qwen-Soloband
39
+ - 📐 Разрешени�� от 512×512 до 2048×2048
40
+ - ⚙️ Полный контроль параметров (steps, CFG, seed)
41
+ - 🎯 Оптимизированные настройки для лучшего качества
42
+
43
+ ### 🔄 Image-to-Image
44
+ Модификация и трансформация существующих изображений:
45
+ - 🖼️ Загрузка любых изображений (PNG, JPG, WebP)
46
+ - 🎚️ **Denoising Strength** (0.0-1.0) - точный контроль степени изменения
47
+ - 🎨 Сохранение структуры при изменении стиля
48
+ - ✨ Улучшение качества, стилизация, художественная трансформация
49
+
50
+ ### 🎮 ControlNet
51
+ Точное управление композицией и структурой:
52
+ - 🖊️ **Canny Edge** - контроль по контурам и краям
53
+ - 🌄 **Depth Map** - контроль по глубине сцены
54
+ - 🤸 **Pose** - контроль по позе персонажей (OpenPose)
55
+ - 🎚️ **Control Strength** (0.0-2.0) - сила воздействия ControlNet
56
+ - 🔀 Комбинируется с LoRA для расширенных возможностей
57
+
58
+ ### 🎭 LoRA Styles
59
+ Динамическая загрузка стилей для разнообразия:
60
+ - 📸 **Realism** - фотореалистичные изображения
61
+ - 🎌 **Anime** - современный японский стиль аниме
62
+ - 📽️ **Analog Film** - эффект винтажной пленочной фотографии
63
+ - 🎚️ **LoRA Scale** (0.0-2.0) - интенсивность стиля
64
+ - 🔗 Работает во всех режимах (Text2Img, Img2Img, ControlNet)
65
+
66
+ ## 🔌 API Usage
67
+
68
+ ### Text-to-Image API
69
+
70
+ ```python
71
+ from gradio_client import Client
72
+
73
+ client = Client("Gerchegg/Qwen-ImageForFlo-Advanced")
74
+
75
+ result = client.predict(
76
+ prompt="SB_AI, a beautiful landscape",
77
+ negative_prompt="blurry, low quality",
78
+ width=1664,
79
+ height=928,
80
+ seed=42,
81
+ randomize_seed=False,
82
+ guidance_scale=2.5,
83
+ num_inference_steps=40,
84
+ lora_name="None", # или "Realism", "Anime", "Analog Film"
85
+ lora_scale=1.0,
86
+ api_name="/text2img"
87
+ )
88
+
89
+ image, seed = result
90
+ ```
91
+
92
+ ### Image-to-Image API
93
+
94
+ ```python
95
+ result = client.predict(
96
+ input_image="path/to/image.png", # PIL Image или path
97
+ prompt="Transform this into a painting",
98
+ negative_prompt="blurry, low quality",
99
+ strength=0.75, # 0.0-1.0, больше = сильнее изменение
100
+ seed=42,
101
+ randomize_seed=False,
102
+ guidance_scale=2.5,
103
+ num_inference_steps=40,
104
+ lora_name="Analog Film",
105
+ lora_scale=1.0,
106
+ api_name="/img2img"
107
+ )
108
+
109
+ image, seed = result
110
+ ```
111
+
112
+ ### ControlNet API
113
+
114
+ ```python
115
+ result = client.predict(
116
+ input_image="path/to/image.png",
117
+ prompt="A woman in futuristic outfit",
118
+ control_type="Pose", # "Canny", "Depth", "Pose"
119
+ negative_prompt="blurry, low quality",
120
+ controlnet_scale=1.0, # 0.0-2.0
121
+ seed=42,
122
+ randomize_seed=False,
123
+ guidance_scale=5.0,
124
+ num_inference_steps=30,
125
+ lora_name="Realism",
126
+ lora_scale=1.0,
127
+ api_name="/controlnet"
128
+ )
129
+
130
+ generated_image, control_preview, seed = result
131
+ ```
132
+
133
+ ## 💡 Примеры использования
134
+
135
+ ### Text-to-Image
136
+ ```
137
+ Prompt: "SB_AI, a beautiful mountain landscape at sunset, detailed"
138
+ Size: 1664×928
139
+ Steps: 40, CFG: 2.5
140
+ LoRA: None
141
+ ```
142
+
143
+ ### Image-to-Image
144
+ ```
145
+ Input: фото человека
146
+ Prompt: "Transform into oil painting style"
147
+ Strength: 0.75 (сохранить структуру, изменить стиль)
148
+ LoRA: Analog Film
149
+ ```
150
+
151
+ ### ControlNet
152
+ ```
153
+ Input: фото позы человека
154
+ Control: Pose (извлекает скелет)
155
+ Prompt: "A superhero in the same pose"
156
+ Control Scale: 1.0
157
+ LoRA: Realism
158
+ ```
159
+
160
+ ## 🎭 Доступные LoRA
161
+
162
+ | Name | Trigger Word | Description |
163
+ |------|--------------|-------------|
164
+ | **Realism** | "Super Realism portrait of" | Фотореалистичные изображения |
165
+ | **Anime** | "Japanese modern anime style, " | Современное аниме |
166
+ | **Analog Film** | "fifthel" | Эффект пленочной фотографии |
167
+
168
+ LoRA автоматически добавляют trigger words к промпту.
169
+
170
+ ## 📊 Параметры
171
+
172
+ ### Denoising Strength (Image2Image)
173
+ - **0.0-0.3**: Минимальные изменения, сохранение деталей
174
+ - **0.4-0.6**: Умеренные изменения, баланс
175
+ - **0.7-0.9**: Сильные изменения, новое изображение
176
+ - **1.0**: Полная перерисовка
177
+
178
+ ### ControlNet Scale
179
+ - **0.0**: Нет контроля (как Text2Image)
180
+ - **0.5**: Слабый контроль, творческая свобода
181
+ - **1.0**: Нормальный контроль (рекомендуется)
182
+ - **1.5-2.0**: Жесткий контроль, точное следование
183
+
184
+ ### LoRA Scale
185
+ - **0.0**: Без эффекта
186
+ - **0.5**: Слабый эффект стиля
187
+ - **1.0**: Нормальный эффект (рекомендуется)
188
+ - **1.5-2.0**: Сильный эффект стиля
189
+
190
+ ## 🔧 Технические детали
191
+
192
+ ### Модели:
193
+ - **Base**: Gerchegg/Qwen-Soloband-Diffusers
194
+ - **ControlNet**: InstantX/Qwen-Image-ControlNet-Union
195
+ - **LoRAs**: Различные (загружаются динамически)
196
+
197
+ ### Препроцессоры:
198
+ - **Canny**: OpenCV edge detection
199
+ - **Depth**: Grayscale depth approximation
200
+ - **Pose**: OpenPose (если доступен)
201
+
202
+ ### Оптимизации:
203
+ - VAE tiling для больших изображений
204
+ - VAE slicing для batch
205
+ - Автоматическое управление LoRA
206
+
207
+ ## 💰 Требования
208
+
209
+ - **GPU**: A100 (80GB) или A40 (48GB)
210
+ - **VRAM**: ~40GB для базовой модели + ~2GB для ControlNet
211
+ - **Storage**: ~50GB (модели)
212
+
213
+ ## 📚 Дополнительная информация
214
+
215
+ - **Base Model**: [Qwen-Soloband-Diffusers](https://huggingface.co/Gerchegg/Qwen-Soloband-Diffusers)
216
+ - **ControlNet**: [InstantX/Qwen-Image-ControlNet-Union](https://huggingface.co/InstantX/Qwen-Image-ControlNet-Union)
217
+ - **Qwen-Image**: [Qwen/Qwen-Image](https://huggingface.co/Qwen/Qwen-Image)
218
+ - **Diffusers Docs**: [Image-to-Image Guide](https://huggingface.co/docs/diffusers/using-diffusers/img2img)
219
+
220
+ ## ⚠️ Важные замечания
221
+
222
+ ### Image2Image для Qwen
223
+ Этот Space использует специализированный `QwenImageImg2ImgPipeline` для корректной работы с Qwen-Image архитектурой. В отличие от обычных Stable Diffusion моделей, Qwen-Image требует:
224
+ - Специальное кодирование изображений через `AutoencoderKLQwenImage`
225
+ - Параметр `true_cfg_scale` вместо `guidance_scale`
226
+ - Специальную упаковку латентов (packing 2x2)
227
+
228
+ ### ControlNet
229
+ ControlNet для Qwen-Image использует Union модель, которая поддерживает несколько типов контроля одновременно.
230
+
231
+ ### LoRA
232
+ LoRA загружаются динамически и автоматически добавляют trigger words к промптам.
233
+
234
+ ## 📝 License
235
+
236
+ Apache 2.0
237
+
238
+ ## 🔧 Development Notes
239
+
240
+ ⚠️ **В разработке**: Image2Image pipeline требует использования `QwenImageImg2ImgPipeline` вместо `AutoPipelineForImage2Image`. См. техническую документацию для деталей.
241
+