Image-to-Image
PEFT
Safetensors
Chinese
English
moss-image
rgba
transparent-background
vae
lora
mage
Instructions to use leafmoone/Mage-Flow-RGBA-vae with libraries, inference providers, notebooks, and local apps. Follow these links to get started.
- Libraries
- PEFT
How to use leafmoone/Mage-Flow-RGBA-vae with PEFT:
Task type is invalid.
- Notebooks
- Google Colab
- Kaggle
Update README.md
Browse files
README.md
CHANGED
|
@@ -17,30 +17,22 @@ library_name: peft
|
|
| 17 |
inference: false
|
| 18 |
---
|
| 19 |
|
| 20 |
-
#
|
| 21 |
-
|
| 22 |
-
本仓库发布 **Mage RGBA VAE 的续训权重(step 14000)**,以及用 MOSS-Image-Base 实际生成的三张示例图。
|
| 23 |
-
结构参考 [ChenkinLab/CKMoss-Image-RGBA](https://huggingface.co/ChenkinLab/CKMoss-Image-RGBA)。
|
| 24 |
|
| 25 |
## 文件
|
| 26 |
|
| 27 |
| 路径 | 说明 |
|
| 28 |
| --- | --- |
|
| 29 |
-
| `vae/
|
| 30 |
| `vae/mage_config.json` | 模型结构配置 |
|
| 31 |
| `vae/weights.json` | 合并前后数值一致性报告 |
|
| 32 |
| `checkpoint-00014000/lora/adapter_model.safetensors` | 未合并的 LoRA 适配器(43.7 MB,rank 32) |
|
| 33 |
| `checkpoint-00014000/lora/adapter_config.json` | PEFT/LoRA 配置 |
|
| 34 |
| `checkpoint-00014000/progress.json` | 训练进度(step 14000,next_batch 44000) |
|
| 35 |
-
| `samples/generation/` | 三张 MOSS-Image-Base 生成图(透明版) |
|
| 36 |
-
| `samples/generation/opaque/` | 同一批生成图的模型原生输出(不透明) |
|
| 37 |
-
| `samples/reconstruction/` | 三张输入图的 VAE 重建结果 |
|
| 38 |
-
| `samples/source/` | 原始输入图(保留原始 PNG 元数据) |
|
| 39 |
-
| `samples/previews/` | 棋盘格预览 |
|
| 40 |
|
| 41 |
## 训练指标
|
| 42 |
|
| 43 |
-
|
| 44 |
|
| 45 |
| 指标(1131 条日志,3010→14310) | 前 100 条均值 | 后 100 条均值 | 变化 |
|
| 46 |
| --- | ---: | ---: | ---: |
|
|
@@ -50,7 +42,6 @@ inference: false
|
|
| 50 |
| LPIPS | 0.009080 | 0.006940 | −23.6% |
|
| 51 |
| Latent RMS | 1.0184 | 1.0378 | +1.9% |
|
| 52 |
|
| 53 |
-
固定 8 张验证图:
|
| 54 |
|
| 55 |
| 指标 | step 3500 | step 14000 | 最佳 |
|
| 56 |
| --- | ---: | ---: | --- |
|
|
@@ -62,47 +53,18 @@ inference: false
|
|
| 62 |
训练配置:512px、bf16、micro-batch 8 × accumulation 4(global batch 32)、LoRA rank/alpha 32、单卡 DCU,平均约 **4.79 秒/步**。
|
| 63 |
优化器与随机状态文件只用于精确续训,推理不需要。
|
| 64 |
|
| 65 |
-
## 生成示例
|
| 66 |
-
|
| 67 |
-
三张示例由 **OpenMOSS/MOSS-Image-Base**(base 版本,不使用 SFT、不加载 DiT LoRA)+ 本仓库 `vae/moss_rgba_vae.safetensors` 生成:
|
| 68 |
-
30 steps、CFG 4.0、512×768、seed 47 / 312 / 721。完整 prompt 见 `samples/generation/manifest.json`。
|
| 69 |
|
| 70 |
### 重要说明:原生 alpha 与后处理
|
| 71 |
|
| 72 |
本次只训练了 **VAE**,没有训练第二阶段 **DiT LoRA**。因此:
|
| 73 |
|
| 74 |
- VAE 对**真实 RGBA 输入**的重建可以正确恢复 Alpha(见 `samples/reconstruction/` 与验证指标);
|
| 75 |
-
- 但 MOSS-Image-Base 的 DiT 只生成 RGB 潜变量,不携带透明度信息,所以**生成图的模型原生 alpha 接近 1(不透明)**,见 `samples/generation/opaque/`;
|
| 76 |
-
- `samples/generation/` 中的透明 PNG 是对模型输出做**白底连通域抠图 + 边缘羽化**得到的展示版本,不是模型原生 alpha。README 与 manifest 中已明确标注。
|
| 77 |
|
| 78 |
如果需要对生成图原生输出透明通道,需要补训 DiT LoRA 阶段。
|
| 79 |
|
| 80 |
-
## 重建示例
|
| 81 |
-
|
| 82 |
-
`samples/reconstruction/` 用同一 step 14000 VAE 对三张输入图做编码-解码(512 长边、16 倍数尺寸):
|
| 83 |
-
|
| 84 |
-
| 输入 | 尺寸 | 前景 RGB MAE | Alpha 均值 |
|
| 85 |
-
| --- | --- | ---: | ---: |
|
| 86 |
-
| moss_00029.png | 352×512 | 0.0152 | 0.998 |
|
| 87 |
-
| sample_639469.png | 288×512 | 0.0303 | 0.995 |
|
| 88 |
-
| tavern_ruyueming.png | 336×512 | 0.0049 | 1.003 |
|
| 89 |
-
|
| 90 |
-
## 使用
|
| 91 |
-
|
| 92 |
-
```python
|
| 93 |
-
from huggingface_hub import hf_hub_download
|
| 94 |
-
from safetensors.torch import load_file
|
| 95 |
-
|
| 96 |
-
repo = "leafmoone/CKMoss-Image-RGBA-vae"
|
| 97 |
-
weights = hf_hub_download(repo, "vae/moss_rgba_vae.safetensors")
|
| 98 |
-
state = load_file(weights)
|
| 99 |
-
```
|
| 100 |
-
|
| 101 |
-
VAE 输入/输出均为 4 通道、归一化到 `[-1, 1]`,Alpha 在通道 3,`+1` 表示不透明。
|
| 102 |
|
| 103 |
## 许可与致谢
|
| 104 |
|
| 105 |
-
基于
|
| 106 |
-
[Mage](https://github.com/microsoft/Mage)(MIT)与
|
| 107 |
[CKMoss-Image-RGBA](https://github.com/Chenkin-x/CKMoss-Image-RGBA)(GPLv3)。
|
| 108 |
本项目采用 GPLv3,见 `LICENSE` 与 `NOTICE`。
|
|
|
|
| 17 |
inference: false
|
| 18 |
---
|
| 19 |
|
| 20 |
+
# Mage-Flow-RGBA VAE
|
|
|
|
|
|
|
|
|
|
| 21 |
|
| 22 |
## 文件
|
| 23 |
|
| 24 |
| 路径 | 说明 |
|
| 25 |
| --- | --- |
|
| 26 |
+
| `vae/MAGE_rgba_vae.safetensors` | 已合并 LoRA 的 RGBA VAE 权重(404.6 MB),可直接加载 |
|
| 27 |
| `vae/mage_config.json` | 模型结构配置 |
|
| 28 |
| `vae/weights.json` | 合并前后数值一致性报告 |
|
| 29 |
| `checkpoint-00014000/lora/adapter_model.safetensors` | 未合并的 LoRA 适配器(43.7 MB,rank 32) |
|
| 30 |
| `checkpoint-00014000/lora/adapter_config.json` | PEFT/LoRA 配置 |
|
| 31 |
| `checkpoint-00014000/progress.json` | 训练进度(step 14000,next_batch 44000) |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 32 |
|
| 33 |
## 训练指标
|
| 34 |
|
| 35 |
+
累计到 **14310** 步;**最后一个完整保存的 checkpoint 是 step 14000**。
|
| 36 |
|
| 37 |
| 指标(1131 条日志,3010→14310) | 前 100 条均值 | 后 100 条均值 | 变化 |
|
| 38 |
| --- | ---: | ---: | ---: |
|
|
|
|
| 42 |
| LPIPS | 0.009080 | 0.006940 | −23.6% |
|
| 43 |
| Latent RMS | 1.0184 | 1.0378 | +1.9% |
|
| 44 |
|
|
|
|
| 45 |
|
| 46 |
| 指标 | step 3500 | step 14000 | 最佳 |
|
| 47 |
| --- | ---: | ---: | --- |
|
|
|
|
| 53 |
训练配置:512px、bf16、micro-batch 8 × accumulation 4(global batch 32)、LoRA rank/alpha 32、单卡 DCU,平均约 **4.79 秒/步**。
|
| 54 |
优化器与随机状态文件只用于精确续训,推理不需要。
|
| 55 |
|
|
|
|
|
|
|
|
|
|
|
|
|
| 56 |
|
| 57 |
### 重要说明:原生 alpha 与后处理
|
| 58 |
|
| 59 |
本次只训练了 **VAE**,没有训练第二阶段 **DiT LoRA**。因此:
|
| 60 |
|
| 61 |
- VAE 对**真实 RGBA 输入**的重建可以正确恢复 Alpha(见 `samples/reconstruction/` 与验证指标);
|
|
|
|
|
|
|
| 62 |
|
| 63 |
如果需要对生成图原生输出透明通道,需要补训 DiT LoRA 阶段。
|
| 64 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 65 |
|
| 66 |
## 许可与致谢
|
| 67 |
|
| 68 |
+
基于[Mage](https://github.com/microsoft/Mage)(MIT)与
|
|
|
|
| 69 |
[CKMoss-Image-RGBA](https://github.com/Chenkin-x/CKMoss-Image-RGBA)(GPLv3)。
|
| 70 |
本项目采用 GPLv3,见 `LICENSE` 与 `NOTICE`。
|