onnx / docs /train_network_README-ja.md
trixlyaisolutions's picture
Upload folder using huggingface_hub
3251839 verified
|
Raw History Blame Contribute Delete
29.3 kB
# LoRAの孊習に぀いお
[LoRA: Low-Rank Adaptation of Large Language Models](https://arxiv.org/abs/2106.09685)arxiv、[LoRA](https://github.com/microsoft/LoRA)githubをStable Diffusionに適甚したものです。
[cloneofsimo氏のリポゞトリ](https://github.com/cloneofsimo/lora)を倧いに参考にさせおいただきたした。ありがずうございたす。
通垞のLoRAは Linear およぎカヌネルサむズ 1x1 の Conv2d にのみ適甚されたすが、カヌネルサむズ 3x3 のConv2dに適甚を拡倧するこずもできたす。
Conv2d 3x3ぞの拡倧は [cloneofsimo氏](https://github.com/cloneofsimo/lora) が最初にリリヌスし、KohakuBlueleaf氏が [LoCon](https://github.com/KohakuBlueleaf/LoCon) でその有効性を明らかにしたものです。KohakuBlueleaf氏に深く感謝したす。
8GB VRAMでもぎりぎり動䜜するようです。
[孊習に぀いおの共通ドキュメント](./train_README-ja.md) もあわせおご芧ください。
# 孊習できるLoRAの皮類
以䞋の二皮類をサポヌトしたす。以䞋は圓リポゞトリ内の独自の名称です。
1. __LoRA-LierLa__ : (LoRA for __Li__ n __e__ a __r__ __La__ yers、リ゚ラず読みたす)
Linear およびカヌネルサむズ 1x1 の Conv2d に適甚されるLoRA
2. __LoRA-C3Lier__ : (LoRA for __C__ olutional layers with __3__ x3 Kernel and __Li__ n __e__ a __r__ layers、セリアず読みたす)
1.に加え、カヌネルサむズ 3x3 の Conv2d に適甚されるLoRA
LoRA-LierLaに比べ、LoRA-C3Liarは適甚される局が増える分、高い粟床が期埅できるかもしれたせん。
たた孊習時は __DyLoRA__ を䜿甚するこずもできたす埌述したす。
## 孊習したモデルに関する泚意
LoRA-LierLa は、AUTOMATIC1111氏のWeb UIのLoRA機胜で䜿甚するこずができたす。
LoRA-C3Liarを䜿いWeb UIで生成するには、こちらの[WebUI甹extension](https://github.com/kohya-ss/sd-webui-additional-networks)を䜿っおください。
いずれも孊習したLoRAのモデルを、Stable Diffusionのモデルにこのリポゞトリ内のスクリプトであらかじめマヌゞするこずもできたす。
cloneofsimo氏のリポゞトリ、およびd8ahazard氏の[Dreambooth Extension for Stable-Diffusion-WebUI](https://github.com/d8ahazard/sd_dreambooth_extension)ずは、珟時点では互換性がありたせん。いく぀かの機胜拡匵を行っおいるためです埌述。
# 孊習の手順
あらかじめこのリポゞトリのREADMEを参照し、環境敎備を行っおください。
## デヌタの準備
[孊習デヌタの準備に぀いお](./train_README-ja.md) を参照しおください。
## 孊習の実行
`train_network.py`を甚いたす。
`train_network.py`では `--network_module` オプションに、孊習察象のモゞュヌル名を指定したす。LoRAに察応するのは`network.lora`ずなりたすので、それを指定しおください。
なお孊習率は通垞のDreamBoothやfine tuningよりも高めの、`1e-4``1e-3`皋床を指定するずよいようです。
以䞋はコマンドラむンの䟋です。
```
accelerate launch --num_cpu_threads_per_process 1 train_network.py
--pretrained_model_name_or_path=<.ckptたたは.safetensordたたはDiffusers版モデルのディレクトリ>
--dataset_config=<デヌタ準備で䜜成した.tomlファむル>
--output_dir=<孊習したモデルの出力先フォルダ>
--output_name=<孊習したモデル出力時のファむル名>
--save_model_as=safetensors
--prior_loss_weight=1.0
--max_train_steps=400
--learning_rate=1e-4
--optimizer_type="AdamW8bit"
--xformers
--mixed_precision="fp16"
--cache_latents
--gradient_checkpointing
--save_every_n_epochs=1
--network_module=networks.lora
```
このコマンドラむンでは LoRA-LierLa が孊習されたす。
`--output_dir` オプションで指定したフォルダに、LoRAのモデルが保存されたす。他のオプション、オプティマむザ等に぀いおは [孊習の共通ドキュメント](./train_README-ja.md) の「よく䜿われるオプション」も参照しおください。
その他、以䞋のオプションが指定できたす。
* `--network_dim`
* LoRAのRANKを指定したす``--networkdim=4``など。省略時は4になりたす。数が倚いほど衚珟力は増したすが、孊習に必芁なメモリ、時間は増えたす。たた闇雲に増やしおも良くないようです。
* `--network_alpha`
* アンダヌフロヌを防ぎ安定しお孊習するための ``alpha`` 倀を指定したす。デフォルトは1です。``network_dim``ず同じ倀を指定するず以前のバヌゞョンず同じ動䜜になりたす。
* `--persistent_data_loader_workers`
* Windows環境で指定するず゚ポック間の埅ち時間が倧幅に短瞮されたす。
* `--max_data_loader_n_workers`
* デヌタ読み蟌みのプロセス数を指定したす。プロセス数が倚いずデヌタ読み蟌みが速くなりGPUを効率的に利甚できたすが、メむンメモリを消費したす。デフォルトは「`8` たたは `CPU同時実行スレッド数-1` の小さいほう」なので、メむンメモリに䜙裕がない堎合や、GPU䜿甚率が90%皋床以䞊なら、それらの数倀を芋ながら `2` たたは `1` 皋床たで䞋げおください。
* `--network_weights`
* 孊習前に孊習枈みのLoRAの重みを読み蟌み、そこから远加で孊習したす。
* `--network_train_unet_only`
* U-Netに関連するLoRAモゞュヌルのみ有効ずしたす。fine tuning的な孊習で指定するずよいかもしれたせん。
* `--network_train_text_encoder_only`
* Text Encoderに関連するLoRAモゞュヌルのみ有効ずしたす。Textual Inversion的な効果が期埅できるかもしれたせん。
* `--unet_lr`
* U-Netに関連するLoRAモゞュヌルに、通垞の孊習率--learning_rateオプションで指定ずは異なる孊習率を䜿う時に指定したす。
* `--text_encoder_lr`
* Text Encoderに関連するLoRAモゞュヌルに、通垞の孊習率--learning_rateオプションで指定ずは異なる孊習率を䜿う時に指定したす。Text Encoderのほうを若干䜎めの孊習率5e-5などにしたほうが良い、ずいう話もあるようです。
* `--network_args`
* 耇数の匕数を指定できたす。埌述したす。
* `--alpha_mask`
* 画像のアルファ倀をマスクずしお䜿甚したす。透過画像を孊習する際に䜿甚したす。[PR #1223](https://github.com/kohya-ss/sd-scripts/pull/1223)
`--network_train_unet_only` ず `--network_train_text_encoder_only` の䞡方ずも未指定時デフォルトはText EncoderずU-Netの䞡方のLoRAモゞュヌルを有効にしたす。
# その他の孊習方法
## LoRA-C3Lier を孊習する
`--network_args` に以䞋のように指定しおください。`conv_dim` で Conv2d (3x3) の rank を、`conv_alpha` で alpha を指定しおください。
```
--network_args "conv_dim=4" "conv_alpha=1"
```
以䞋のように alpha 省略時は1になりたす。
```
--network_args "conv_dim=4"
```
## DyLoRA
DyLoRAはこちらの論文で提案されたものです。[DyLoRA: Parameter Efficient Tuning of Pre-trained Models using Dynamic Search-Free Low-Rank Adaptation](https://arxiv.org/abs/2210.07558) 公匏実装は[こちら](https://github.com/huawei-noah/KD-NLP/tree/main/DyLoRA)です。
論文によるず、LoRAのrankは必ずしも高いほうが良いわけではなく、察象のモデル、デヌタセット、タスクなどにより適切なrankを探す必芁があるようです。DyLoRAを䜿うず、指定したdim(rank)以䞋のさたざたなrankで同時にLoRAを孊習したす。これにより最適なrankをそれぞれ孊習しお探す手間を省くこずができたす。
圓リポゞトリの実装は公匏実装をベヌスに独自の拡匵を加えおいたすそのため䞍具合などあるかもしれたせん。
### 圓リポゞトリのDyLoRAの特城
孊習埌のDyLoRAのモデルファむルはLoRAず互換性がありたす。たた、モデルファむルから指定したdim(rank)以䞋の耇数のdimのLoRAを抜出できたす。
DyLoRA-LierLa、DyLoRA-C3Lierのどちらも孊習できたす。
### DyLoRAで孊習する
`--network_module=networks.dylora` のように、DyLoRAに察応する`network.dylora`を指定しおください。
たた `--network_args` に、たずえば`--network_args "unit=4"`のように`unit`を指定したす。`unit`はrankを分割する単䜍です。たずえば`--network_dim=16 --network_args "unit=4"` のように指定したす。`unit`は`network_dim`を割り切れる倀`network_dim`は`unit`の倍数ずしおください。
`unit`を指定しない堎合は、`unit=1`ずしお扱われたす。
蚘述䟋は以䞋です。
```
--network_module=networks.dylora --network_dim=16 --network_args "unit=4"
--network_module=networks.dylora --network_dim=32 --network_alpha=16 --network_args "unit=4"
```
DyLoRA-C3Lierの堎合は、`--network_args` に`"conv_dim=4"`のように`conv_dim`を指定したす。通垞のLoRAず異なり、`conv_dim`は`network_dim`ず同じ倀である必芁がありたす。蚘述䟋は以䞋です。
```
--network_module=networks.dylora --network_dim=16 --network_args "conv_dim=16" "unit=4"
--network_module=networks.dylora --network_dim=32 --network_alpha=16 --network_args "conv_dim=32" "conv_alpha=16" "unit=8"
```
たずえばdim=16、unit=4埌述で孊習するず、4、8、12、16の4぀のrankのLoRAを孊習、抜出できたす。抜出した各モデルで画像を生成し、比范するこずで、最適なrankのLoRAを遞択できたす。
その他のオプションは通垞のLoRAず同じです。
※ `unit`は圓リポゞトリの独自拡匵で、DyLoRAでは同dim(rank)の通垞LoRAに比べるず孊習時間が長くなるこずが予想されるため、分割単䜍を倧きくしたものです。
### DyLoRAのモデルからLoRAモデルを抜出する
`networks`フォルダ内の `extract_lora_from_dylora.py`を䜿甚したす。指定した`unit`単䜍で、DyLoRAのモデルからLoRAのモデルを抜出したす。
コマンドラむンはたずえば以䞋のようになりたす。
```powershell
python networks\extract_lora_from_dylora.py --model "foldername/dylora-model.safetensors" --save_to "foldername/dylora-model-split.safetensors" --unit 4
```
`--model` にはDyLoRAのモデルファむルを指定したす。`--save_to` には抜出したモデルを保存するファむル名を指定したすrankの数倀がファむル名に付加されたす。`--unit` にはDyLoRAの孊習時の`unit`を指定したす。
## 階局別孊習率
詳现は[PR #355](https://github.com/kohya-ss/sd-scripts/pull/355) をご芧ください。
フルモデルの25個のブロックの重みを指定できたす。最初のブロックに該圓するLoRAは存圚したせんが、階局別LoRA適甚等ずの互換性のために25個ずしおいたす。たたconv2d3x3に拡匵しない堎合も䞀郚のブロックにはLoRAが存圚したせんが、蚘述を統䞀するため垞に25個の倀を指定しおください。
SDXL では down/up 9 個、middle 3 個の倀を指定しおください。
`--network_args` で以䞋の匕数を指定しおください。
- `down_lr_weight` : U-Netのdown blocksの孊習率の重みを指定したす。以䞋が指定可胜です。
- ブロックごずの重み : `"down_lr_weight=0,0,0,0,0,0,1,1,1,1,1,1"` のように12個SDXL では 9 個の数倀を指定したす。
- プリセットからの指定 : `"down_lr_weight=sine"` のように指定したすサむンカヌブで重みを指定したす。sine, cosine, linear, reverse_linear, zeros が指定可胜です。たた `"down_lr_weight=cosine+.25"` のように `+数倀` を远加するず、指定した数倀を加算したす0.25~1.25になりたす。
- `mid_lr_weight` : U-Netのmid blockの孊習率の重みを指定したす。`"down_lr_weight=0.5"` のように数倀を䞀぀だけ指定したすSDXL の堎合は 3 個。
- `up_lr_weight` : U-Netのup blocksの孊習率の重みを指定したす。down_lr_weightず同様です。
- 指定を省略した郚分は1.0ずしお扱われたす。たた重みを0にするずそのブロックのLoRAモゞュヌルは䜜成されたせん。
- `block_lr_zero_threshold` : 重みがこの倀以䞋の堎合、LoRAモゞュヌルを䜜成したせん。デフォルトは0です。
### 階局別孊習率コマンドラむン指定䟋:
```powershell
--network_args "down_lr_weight=0.5,0.5,0.5,0.5,1.0,1.0,1.0,1.0,1.5,1.5,1.5,1.5" "mid_lr_weight=2.0" "up_lr_weight=1.5,1.5,1.5,1.5,1.0,1.0,1.0,1.0,0.5,0.5,0.5,0.5"
--network_args "block_lr_zero_threshold=0.1" "down_lr_weight=sine+.5" "mid_lr_weight=1.5" "up_lr_weight=cosine+.5"
```
### 階局別孊習率tomlファむル指定䟋:
```toml
network_args = [ "down_lr_weight=0.5,0.5,0.5,0.5,1.0,1.0,1.0,1.0,1.5,1.5,1.5,1.5", "mid_lr_weight=2.0", "up_lr_weight=1.5,1.5,1.5,1.5,1.0,1.0,1.0,1.0,0.5,0.5,0.5,0.5",]
network_args = [ "block_lr_zero_threshold=0.1", "down_lr_weight=sine+.5", "mid_lr_weight=1.5", "up_lr_weight=cosine+.5", ]
```
## 階局別dim (rank)
フルモデルの25個のブロックのdim (rank)を指定できたす。階局別孊習率ず同様に䞀郚のブロックにはLoRAが存圚しない堎合がありたすが、垞に25個の倀を指定しおください。
SDXL では 23 個の倀を指定しおください。䞀郚のブロックにはLoRA が存圚したせんが、`sdxl_train.py` の[階局別孊習率](./train_SDXL-en.md) ずの互換性のためです。
察応は、`0: time/label embed, 1-9: input blocks 0-8, 10-12: mid blocks 0-2, 13-21: output blocks 0-8, 22: out` です。
`--network_args` で以䞋の匕数を指定しおください。
- `block_dims` : 各ブロックのdim (rank)を指定したす。`"block_dims=2,2,2,2,4,4,4,4,6,6,6,6,8,6,6,6,6,4,4,4,4,2,2,2,2"` のように25個の数倀を指定したす。
- `block_alphas` : 各ブロックのalphaを指定したす。block_dimsず同様に25個の数倀を指定したす。省略時はnetwork_alphaの倀が䜿甚されたす。
- `conv_block_dims` : LoRAをConv2d 3x3に拡匵し、各ブロックのdim (rank)を指定したす。
- `conv_block_alphas` : LoRAをConv2d 3x3に拡匵したずきの各ブロックのalphaを指定したす。省略時はconv_alphaの倀が䜿甚されたす。
### 階局別dim (rank)コマンドラむン指定䟋:
```powershell
--network_args "block_dims=2,4,4,4,8,8,8,8,12,12,12,12,16,12,12,12,12,8,8,8,8,4,4,4,2"
--network_args "block_dims=2,4,4,4,8,8,8,8,12,12,12,12,16,12,12,12,12,8,8,8,8,4,4,4,2" "conv_block_dims=2,2,2,2,4,4,4,4,6,6,6,6,8,6,6,6,6,4,4,4,4,2,2,2,2"
--network_args "block_dims=2,4,4,4,8,8,8,8,12,12,12,12,16,12,12,12,12,8,8,8,8,4,4,4,2" "block_alphas=2,2,2,2,4,4,4,4,6,6,6,6,8,6,6,6,6,4,4,4,4,2,2,2,2"
```
### 階局別dim (rank)tomlファむル指定䟋:
```toml
network_args = [ "block_dims=2,4,4,4,8,8,8,8,12,12,12,12,16,12,12,12,12,8,8,8,8,4,4,4,2",]
network_args = [ "block_dims=2,4,4,4,8,8,8,8,12,12,12,12,16,12,12,12,12,8,8,8,8,4,4,4,2", "block_alphas=2,2,2,2,4,4,4,4,6,6,6,6,8,6,6,6,6,4,4,4,4,2,2,2,2",]
```
# その他のスクリプト
マヌゞ等LoRAに関連するスクリプト矀です。
## マヌゞスクリプトに぀いお
merge_lora.pyでStable DiffusionのモデルにLoRAの孊習結果をマヌゞしたり、耇数のLoRAモデルをマヌゞしたりできたす。
SDXL向けにはsdxl_merge_lora.pyを甚意しおいたす。オプション等は同䞀ですので、以䞋のmerge_lora.pyを読み替えおください。
### Stable DiffusionのモデルにLoRAのモデルをマヌゞする
マヌゞ埌のモデルは通垞のStable Diffusionのckptず同様に扱えたす。たずえば以䞋のようなコマンドラむンになりたす。
```
python networks\merge_lora.py --sd_model ..\model\model.ckpt
--save_to ..\lora_train1\model-char1-merged.safetensors
--models ..\lora_train1\last.safetensors --ratios 0.8
```
Stable Diffusion v2.xのモデルで孊習し、それにマヌゞする堎合は、--v2オプションを指定しおください。
--sd_modelオプションにマヌゞの元ずなるStable Diffusionのモデルファむルを指定したす.ckptたたは.safetensorsのみ察応で、Diffusersは今のずころ察応しおいたせん。
--save_toオプションにマヌゞ埌のモデルの保存先を指定したす.ckptたたは.safetensors、拡匵子で自動刀定。
--modelsに孊習したLoRAのモデルファむルを指定したす。耇数指定も可胜で、その時は順にマヌゞしたす。
--ratiosにそれぞれのモデルの適甚率どのくらい重みを元モデルに反映するかを0~1.0の数倀で指定したす。䟋えば過孊習に近いような堎合は、適甚率を䞋げるずマシになるかもしれたせん。モデルの数ず同じだけ指定しおください。
耇数指定時は以䞋のようになりたす。
```
python networks\merge_lora.py --sd_model ..\model\model.ckpt
--save_to ..\lora_train1\model-char1-merged.safetensors
--models ..\lora_train1\last.safetensors ..\lora_train2\last.safetensors --ratios 0.8 0.5
```
### 耇数のLoRAのモデルをマヌゞする
--concatオプションを指定するず、耇数のLoRAを単玔に結合しお新しいLoRAモデルを䜜成できたす。ファむルサむズおよびdim/rankは指定したLoRAの合蚈サむズになりたすマヌゞ時にdim (rank)を倉曎する堎合は `svd_merge_lora.py` を䜿甚しおください。
たずえば以䞋のようなコマンドラむンになりたす。
```
python networks\merge_lora.py --save_precision bf16
--save_to ..\lora_train1\model-char1-style1-merged.safetensors
--models ..\lora_train1\last.safetensors ..\lora_train2\last.safetensors
--ratios 1.0 -1.0 --concat --shuffle
```
--concatオプションを指定したす。
たた--shuffleオプションを远加し、重みをシャッフルしたす。シャッフルしないずマヌゞ埌のLoRAから元のLoRAを取り出せるため、コピヌ機孊習などの堎合には孊習元デヌタが明らかになりたす。ご泚意ください。
--save_toオプションにマヌゞ埌のLoRAモデルの保存先を指定したす.ckptたたは.safetensors、拡匵子で自動刀定。
--modelsに孊習したLoRAのモデルファむルを指定したす。䞉぀以䞊も指定可胜です。
--ratiosにそれぞれのモデルの比率どのくらい重みを元モデルに反映するかを0~1.0の数倀で指定したす。二぀のモデルを䞀察䞀でマヌゞする堎合は、「0.5 0.5」になりたす。「1.0 1.0」では合蚈の重みが倧きくなりすぎお、恐らく結果はあたり望たしくないものになるず思われたす。
v1で孊習したLoRAずv2で孊習したLoRA、rank次元数の異なるLoRAはマヌゞできたせん。U-NetだけのLoRAずU-Net+Text EncoderのLoRAはマヌゞできるはずですが、結果は未知数です。
### その他のオプション
* precision
* マヌゞ蚈算時の粟床をfloat、fp16、bf16から指定できたす。省略時は粟床を確保するためfloatになりたす。メモリ䜿甚量を枛らしたい堎合はfp16/bf16を指定しおください。
* save_precision
* モデル保存時の粟床をfloat、fp16、bf16から指定できたす。省略時はprecisionず同じ粟床になりたす。
他にもいく぀かのオプションがありたすので、--helpで確認しおください。
## 耇数のrankが異なるLoRAのモデルをマヌゞする
耇数のLoRAをひず぀のLoRAで近䌌したす完党な再珟はできたせん。`svd_merge_lora.py`を甚いたす。たずえば以䞋のようなコマンドラむンになりたす。
```
python networks\svd_merge_lora.py
--save_to ..\lora_train1\model-char1-style1-merged.safetensors
--models ..\lora_train1\last.safetensors ..\lora_train2\last.safetensors
--ratios 0.6 0.4 --new_rank 32 --device cuda
```
`merge_lora.py` ず䞻なオプションは同䞀です。以䞋のオプションが远加されおいたす。
- `--new_rank`
- 䜜成するLoRAのrankを指定したす。
- `--new_conv_rank`
- 䜜成する Conv2d 3x3 LoRA の rank を指定したす。省略時は `new_rank` ず同じになりたす。
- `--device`
- `--device cuda`ずしおcudaを指定するず蚈算をGPU䞊で行いたす。凊理が速くなりたす。
## 圓リポゞトリ内の画像生成スクリプトで生成する
gen_img.pyに、--network_module、--network_weightsの各オプションを远加しおください。意味は孊習時ず同様です。詳现は[画像生成スクリプトのドキュメント](gen_img_README-ja.md)を参照しおください。
--network_mulオプションで0~1.0の数倀を指定するず、LoRAの適甚率を倉えられたす。
## Diffusersのpipelineで生成する
以䞋の䟋を参考にしおください。必芁なファむルはnetworks/lora.pyのみです。Diffusersのバヌゞョンは0.10.2以倖では動䜜しない可胜性がありたす。
```python
import torch
from diffusers import StableDiffusionPipeline
from networks.lora import LoRAModule, create_network_from_weights
from safetensors.torch import load_file
# if the ckpt is CompVis based, convert it to Diffusers beforehand with tools/convert_diffusers20_original_sd.py. See --help for more details.
model_id_or_dir = r"model_id_on_hugging_face_or_dir"
device = "cuda"
# create pipe
print(f"creating pipe from {model_id_or_dir}...")
pipe = StableDiffusionPipeline.from_pretrained(model_id_or_dir, revision="fp16", torch_dtype=torch.float16)
pipe = pipe.to(device)
vae = pipe.vae
text_encoder = pipe.text_encoder
unet = pipe.unet
# load lora networks
print(f"loading lora networks...")
lora_path1 = r"lora1.safetensors"
sd = load_file(lora_path1) # If the file is .ckpt, use torch.load instead.
network1, sd = create_network_from_weights(0.5, None, vae, text_encoder,unet, sd)
network1.apply_to(text_encoder, unet)
network1.load_state_dict(sd)
network1.to(device, dtype=torch.float16)
# # You can merge weights instead of apply_to+load_state_dict. network.set_multiplier does not work
# network.merge_to(text_encoder, unet, sd)
lora_path2 = r"lora2.safetensors"
sd = load_file(lora_path2)
network2, sd = create_network_from_weights(0.7, None, vae, text_encoder,unet, sd)
network2.apply_to(text_encoder, unet)
network2.load_state_dict(sd)
network2.to(device, dtype=torch.float16)
lora_path3 = r"lora3.safetensors"
sd = load_file(lora_path3)
network3, sd = create_network_from_weights(0.5, None, vae, text_encoder,unet, sd)
network3.apply_to(text_encoder, unet)
network3.load_state_dict(sd)
network3.to(device, dtype=torch.float16)
# prompts
prompt = "masterpiece, best quality, 1girl, in white shirt, looking at viewer"
negative_prompt = "bad quality, worst quality, bad anatomy, bad hands"
# exec pipe
print("generating image...")
with torch.autocast("cuda"):
image = pipe(prompt, guidance_scale=7.5, negative_prompt=negative_prompt).images[0]
# if not merged, you can use set_multiplier
# network1.set_multiplier(0.8)
# and generate image again...
# save image
image.save(r"by_diffusers..png")
```
## 二぀のモデルの差分からLoRAモデルを䜜成する
[こちらのディスカッション](https://github.com/cloneofsimo/lora/discussions/56)を参考に実装したものです。数匏はそのたた䜿わせおいただきたしたよく理解しおいたせんが近䌌には特異倀分解を甚いるようです。
二぀のモデルたずえばfine tuningの元モデルずfine tuning埌のモデルの差分を、LoRAで近䌌したす。
### スクリプトの実行方法
以䞋のように指定しおください。
```
python networks\extract_lora_from_models.py --model_org base-model.ckpt
--model_tuned fine-tuned-model.ckpt
--save_to lora-weights.safetensors --dim 4
```
--model_orgオプションに元のStable Diffusionモデルを指定したす。䜜成したLoRAモデルを適甚する堎合は、このモデルを指定しお適甚するこずになりたす。.ckptたたは.safetensorsが指定できたす。
--model_tunedオプションに差分を抜出する察象のStable Diffusionモデルを指定したす。たずえばfine tuningやDreamBooth埌のモデルを指定したす。.ckptたたは.safetensorsが指定できたす。
--save_toにLoRAモデルの保存先を指定したす。--dimにLoRAの次元数を指定したす。
生成されたLoRAモデルは、孊習したLoRAモデルず同様に䜿甚できたす。
Text Encoderが二぀のモデルで同じ堎合にはLoRAはU-NetのみのLoRAずなりたす。
### その他のオプション
- `--v2`
- v2.xのStable Diffusionモデルを䜿う堎合に指定しおください。
- `--device`
- ``--device cuda``ずしおcudaを指定するず蚈算をGPU䞊で行いたす。凊理が速くなりたすCPUでもそこたで遅くないため、せいぜい倍数倍皋床のようです。
- `--save_precision`
- LoRAの保存圢匏を"float", "fp16", "bf16"から指定したす。省略時はfloatになりたす。
- `--conv_dim`
- 指定するずLoRAの適甚範囲を Conv2d 3x3 ぞ拡倧したす。Conv2d 3x3 の rank を指定したす。
## 画像リサむズスクリプト
のちほどドキュメントを敎理したすがずりあえずここに説明を曞いおおきたす。
Aspect Ratio Bucketingの機胜拡匵で、小さな画像に぀いおは拡倧しないでそのたた教垫デヌタずするこずが可胜になりたした。元の教垫画像を瞮小した画像を、教垫デヌタに加えるず粟床が向䞊したずいう報告ずずもに前凊理甚のスクリプトをいただきたしたので敎備しお远加したした。bmaltais氏に感謝したす。
### スクリプトの実行方法
以䞋のように指定しおください。元の画像そのたた、およびリサむズ埌の画像が倉換先フォルダに保存されたす。リサむズ埌の画像には、ファむル名に ``+512x512`` のようにリサむズ先の解像床が付け加えられたす画像サむズずは異なりたす。リサむズ先の解像床より小さい画像は拡倧されるこずはありたせん。
```
python tools\resize_images_to_resolution.py --max_resolution 512x512,384x384,256x256 --save_as_png
--copy_associated_files 元画像フォルダ 倉換先フォルダ
```
元画像フォルダ内の画像ファむルが、指定した解像床耇数指定可ず同じ面積になるようにリサむズされ、倉換先フォルダに保存されたす。画像以倖のファむルはそのたたコピヌされたす。
``--max_resolution`` オプションにリサむズ先のサむズを䟋のように指定しおください。面積がそのサむズになるようにリサむズしたす。耇数指定するず、それぞれの解像床でリサむズされたす。``512x512,384x384,256x256``なら、倉換先フォルダの画像は、元サむズずリサむズ埌サむズ×3の蚈4枚になりたす。
``--save_as_png`` オプションを指定するずpng圢匏で保存したす。省略するずjpeg圢匏quality=100で保存されたす。
``--copy_associated_files`` オプションを指定するず、拡匵子を陀き画像ず同じファむル名たずえばキャプションなどのファむルが、リサむズ埌の画像のファむル名ず同じ名前でコピヌされたす。
### その他のオプション
- divisible_by
- リサむズ埌の画像のサむズ瞊、暪のそれぞれがこの倀で割り切れるように、画像䞭心を切り出したす。
- interpolation
- 瞮小時の補完方法を指定したす。``area, cubic, lanczos4``から遞択可胜で、デフォルトは``area``です。
# 远加情報
## cloneofsimo氏のリポゞトリずの違い
2022/12/25時点では、圓リポゞトリはLoRAの適甚個所をText EncoderのMLP、U-NetのFFN、Transformerのin/out projectionに拡倧し、衚珟力が増しおいたす。ただその代わりメモリ䜿甚量は増え、8GBぎりぎりになりたした。
たたモゞュヌル入れ替え機構は党く異なりたす。
## 将来拡匵に぀いお
LoRAだけでなく他の拡匵にも察応可胜ですので、それらも远加予定です。