Buckets:

hf-doc-build
/

doc

Files
xet
hf-doc-build/doc / diffusers /v0.43.0 /ja /using-diffusers /controlling_generation.html
mishig
2 days ago
download
raw
41.4 kB
<meta charset="utf-8" /><meta name="hf:doc:metadata" content="{&quot;title&quot;:&quot;制御された生成&quot;,&quot;local&quot;:&quot;controlled-generation&quot;,&quot;sections&quot;:[{&quot;title&quot;:&quot;InstructPix2Pix&quot;,&quot;local&quot;:&quot;instructpix2pix&quot;,&quot;sections&quot;:[],&quot;depth&quot;:2},{&quot;title&quot;:&quot;Attend and Excite&quot;,&quot;local&quot;:&quot;attend-and-excite&quot;,&quot;sections&quot;:[],&quot;depth&quot;:2},{&quot;title&quot;:&quot;セマンティックガイダンス（SEGA）&quot;,&quot;local&quot;:&quot;semantic-guidance-sega&quot;,&quot;sections&quot;:[],&quot;depth&quot;:2},{&quot;title&quot;:&quot;自己注意ガイダンス (SAG)&quot;,&quot;local&quot;:&quot;self-attention-guidance-sag&quot;,&quot;sections&quot;:[],&quot;depth&quot;:2},{&quot;title&quot;:&quot;Depth2Image&quot;,&quot;local&quot;:&quot;depth2image&quot;,&quot;sections&quot;:[],&quot;depth&quot;:2},{&quot;title&quot;:&quot;MultiDiffusion Panorama&quot;,&quot;local&quot;:&quot;multidiffusion-panorama&quot;,&quot;sections&quot;:[],&quot;depth&quot;:2},{&quot;title&quot;:&quot;独自のモデルのファインチューニング&quot;,&quot;local&quot;:&quot;fine-tuning-your-own-models&quot;,&quot;sections&quot;:[],&quot;depth&quot;:2},{&quot;title&quot;:&quot;DreamBooth&quot;,&quot;local&quot;:&quot;dreambooth&quot;,&quot;sections&quot;:[],&quot;depth&quot;:2},{&quot;title&quot;:&quot;Textual Inversion&quot;,&quot;local&quot;:&quot;textual-inversion&quot;,&quot;sections&quot;:[],&quot;depth&quot;:2},{&quot;title&quot;:&quot;ControlNet&quot;,&quot;local&quot;:&quot;controlnet&quot;,&quot;sections&quot;:[],&quot;depth&quot;:2},{&quot;title&quot;:&quot;プロンプト重み付け&quot;,&quot;local&quot;:&quot;prompt-weighting&quot;,&quot;sections&quot;:[],&quot;depth&quot;:2},{&quot;title&quot;:&quot;Custom Diffusion&quot;,&quot;local&quot;:&quot;custom-diffusion&quot;,&quot;sections&quot;:[],&quot;depth&quot;:2},{&quot;title&quot;:&quot;DiffEdit&quot;,&quot;local&quot;:&quot;diffedit&quot;,&quot;sections&quot;:[],&quot;depth&quot;:2},{&quot;title&quot;:&quot;T2I-Adapter&quot;,&quot;local&quot;:&quot;t2i-adapter&quot;,&quot;sections&quot;:[],&quot;depth&quot;:2},{&quot;title&quot;:&quot;Fabric&quot;,&quot;local&quot;:&quot;fabric&quot;,&quot;sections&quot;:[],&quot;depth&quot;:2}],&quot;depth&quot;:1}"/>
		<link href="/docs/diffusers/main/en/_app/immutable/entry/start.0S0_iEoG.js" rel="modulepreload">
		<link href="/docs/diffusers/main/en/_app/immutable/chunks/I9eooN77.js" rel="modulepreload">
		<link href="/docs/diffusers/main/en/_app/immutable/chunks/Bupkjr9f.js" rel="modulepreload">
		<link href="/docs/diffusers/main/en/_app/immutable/entry/app.CPdOxCbw.js" rel="modulepreload">
		<link href="/docs/diffusers/main/en/_app/immutable/chunks/CyvZ3FS5.js" rel="modulepreload">
		<link href="/docs/diffusers/main/en/_app/immutable/chunks/l0QnnOED.js" rel="modulepreload">
		<link href="/docs/diffusers/main/en/_app/immutable/chunks/DnVIJfC5.js" rel="modulepreload">
		<link href="/docs/diffusers/main/en/_app/immutable/chunks/DsnmJJEf.js" rel="modulepreload">
		<link href="/docs/diffusers/main/en/_app/immutable/nodes/0.DteTvmQZ.js" rel="modulepreload">
		<link href="/docs/diffusers/main/en/_app/immutable/chunks/CoSrdQax.js" rel="modulepreload">
		<link href="/docs/diffusers/main/en/_app/immutable/nodes/390.DYfxoBKz.js" rel="modulepreload">
		<link href="/docs/diffusers/main/en/_app/immutable/chunks/DSPDl1gz.js" rel="modulepreload">
		<!--1v3kjpy--><meta name="hf:doc:metadata" content="{&quot;title&quot;:&quot;Controlled generation&quot;,&quot;local&quot;:&quot;controlled-generation&quot;,&quot;sections&quot;:[{&quot;title&quot;:&quot;InstructPix2Pix&quot;,&quot;local&quot;:&quot;instructpix2pix&quot;,&quot;sections&quot;:[],&quot;depth&quot;:2},{&quot;title&quot;:&quot;Attend and Excite&quot;,&quot;local&quot;:&quot;attend-and-excite&quot;,&quot;sections&quot;:[],&quot;depth&quot;:2},{&quot;title&quot;:&quot;Semantic Guidance (SEGA)&quot;,&quot;local&quot;:&quot;semantic-guidance-sega&quot;,&quot;sections&quot;:[],&quot;depth&quot;:2},{&quot;title&quot;:&quot;Self-attention Guidance (SAG)&quot;,&quot;local&quot;:&quot;self-attention-guidance-sag&quot;,&quot;sections&quot;:[],&quot;depth&quot;:2},{&quot;title&quot;:&quot;Depth2Image&quot;,&quot;local&quot;:&quot;depth2image&quot;,&quot;sections&quot;:[],&quot;depth&quot;:2},{&quot;title&quot;:&quot;MultiDiffusion Panorama&quot;,&quot;local&quot;:&quot;multidiffusion-panorama&quot;,&quot;sections&quot;:[],&quot;depth&quot;:2},{&quot;title&quot;:&quot;Fine-tuning your own models&quot;,&quot;local&quot;:&quot;fine-tuning-your-own-models&quot;,&quot;sections&quot;:[],&quot;depth&quot;:2},{&quot;title&quot;:&quot;DreamBooth&quot;,&quot;local&quot;:&quot;dreambooth&quot;,&quot;sections&quot;:[],&quot;depth&quot;:2},{&quot;title&quot;:&quot;Textual Inversion&quot;,&quot;local&quot;:&quot;textual-inversion&quot;,&quot;sections&quot;:[],&quot;depth&quot;:2},{&quot;title&quot;:&quot;ControlNet&quot;,&quot;local&quot;:&quot;controlnet&quot;,&quot;sections&quot;:[],&quot;depth&quot;:2},{&quot;title&quot;:&quot;Prompt Weighting&quot;,&quot;local&quot;:&quot;prompt-weighting&quot;,&quot;sections&quot;:[],&quot;depth&quot;:2},{&quot;title&quot;:&quot;Custom Diffusion&quot;,&quot;local&quot;:&quot;custom-diffusion&quot;,&quot;sections&quot;:[],&quot;depth&quot;:2},{&quot;title&quot;:&quot;DiffEdit&quot;,&quot;local&quot;:&quot;diffedit&quot;,&quot;sections&quot;:[],&quot;depth&quot;:2},{&quot;title&quot;:&quot;T2I-Adapter&quot;,&quot;local&quot;:&quot;t2i-adapter&quot;,&quot;sections&quot;:[],&quot;depth&quot;:2},{&quot;title&quot;:&quot;Fabric&quot;,&quot;local&quot;:&quot;fabric&quot;,&quot;sections&quot;:[],&quot;depth&quot;:2}],&quot;depth&quot;:1}"/><!---->
		<link href="/docs/diffusers/main/en/_app/immutable/assets/0.tn0RQdqM.css" rel="modulepreload"> <!--[--><!--[0--><!--[--><!--[0--><!--[--><p></p> <div class="items-center shrink-0 min-w-[100px] max-sm:min-w-[50px] justify-end ml-auto flex" style="float: inline-end; margin-inline-start: 10px; display: inline-flex; position: relative; z-index: 10;"><div dir="ltr" class="inline-flex rounded-md max-sm:rounded-sm"><button class="inline-flex items-center gap-1 h-7 max-sm:h-7 px-2 max-sm:px-1.5 text-sm font-medium text-gray-800 border border-r-0 rounded-l-md max-sm:rounded-l-sm border-gray-200 bg-white hover:shadow-inner dark:border-gray-850 dark:bg-gray-950 dark:text-gray-200 dark:hover:bg-gray-800" aria-live="polite"><span class="inline-flex items-center justify-center rounded-md p-0.5 max-sm:p-0 hover:text-gray-800 dark:hover:text-gray-200"><svg class="sm:size-3.5 size-3" xmlns="http://www.w3.org/2000/svg" aria-hidden="true" fill="currentColor" focusable="false" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 32 32"><path d="M28,10V28H10V10H28m0-2H10a2,2,0,0,0-2,2V28a2,2,0,0,0,2,2H28a2,2,0,0,0,2-2V10a2,2,0,0,0-2-2Z" transform="translate(0)"></path><path d="M4,18H2V4A2,2,0,0,1,4,2H18V4H4Z" transform="translate(0)"></path><rect fill="none" width="32" height="32"></rect></svg><!----></span> <span dir="auto">Copy page</span></button> <button class="inline-flex items-center justify-center w-6 max-sm:w-5 h-7 max-sm:h-7 disabled:pointer-events-none text-sm text-gray-500 hover:text-gray-700 dark:hover:text-white rounded-r-md max-sm:rounded-r-sm border border-l transition border-gray-200 bg-white hover:shadow-inner dark:border-gray-850 dark:bg-gray-950 dark:text-gray-200 dark:hover:bg-gray-800" aria-haspopup="menu" aria-expanded="false" aria-label="Open copy menu"><svg class="transition-transform text-gray-400 overflow-visible sm:size-3.5 size-3 rotate-0" width="1em" height="1em" viewBox="0 0 12 7" fill="none" xmlns="http://www.w3.org/2000/svg"><path d="M1 1L6 6L11 1" stroke="currentColor"></path></svg><!----></button></div> <!--[-1--><!--]--></div><!----> <!--[0--><h1 class="relative group"><a id="controlled-generation" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#controlled-generation"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span><!---->制御された生成<!----></span></h1><!--]--><!----> <p>拡散モデルによって生成される出力を制御することは、コミュニティによって長年追求されてきた課題であり、現在も活発な研究テーマです。多くの人気のある拡散モデルでは、画像やテキストプロンプトといった入力に対するわずかな変更が、出力に劇的な変化をもたらすことがあります。理想を言えば、セマンティクス（意味）がどのように保持され、どのように変化するのかを制御できることが望まれます。</p> <p>意味を保持するほとんどの例は、入力の变化を出力の変化に正確にマッピングできるかどうかという問題に帰着します。つまり、プロンプトの被験者に形容詞を追加しても、画像全体は保持され、変更された被験者のみが修正されます。また、特定の被験者の画像バリエーションでは、その被験者のポーズが保持されます。</p> <p>さらに、意味の保持を超えて、生成画像に影響を与えたい品質があります。つまり、一般的に、出力が良好な品質であり、特定のスタイルに準拠し、現実的であることを望みます。</p> <p><code>diffusers</code> がサポートする拡散モデルの生成を制御するための技術の一部を、このドキュメントで説明します。多くの内容は最先端の研究であり、かなり微妙な点があります。明確にすべき点や提案があれば、<a href="https://github.com/huggingface/diffusers/discussions" rel="nofollow">GitHub Discussion</a> または <a href="https://github.com/huggingface/diffusers/issues" rel="nofollow">GitHub issue</a> を作成することをためらわないでください。</p> <p>生成をどのように制御できるかについて、高レベルの解説と、技術的な詳細の抜粋を示します。技術的な詳細についてより深く理解したい場合は、パイプラインからリンクされている元の論文が常に最良の情報源です。</p> <p>ユースケースに応じて、適切な手法を選択する必要があります。多くの場合、これらの手法を組み合わせることができます。例えば、Textual InversionとSEGAを組み合わせることで、Textual Inversionを使用して生成される出力に対して、より意味論的なガイダンスを提供できます。</p> <p>特に記載がない限り、これらは既存のモデルで動作する技術であり、独自の重みを必要としません。</p> <ol><li><a href="#instructpix2pix">InstructPix2Pix</a></li> <li><a href="#attend-and-excite">Attend and Excite</a></li> <li><a href="#semantic-guidance-sega">セマンティックガイダンス</a></li> <li><a href="#self-attention-guidance-sag">セルフアテンションガイダンス</a></li> <li><a href="#depth2image">Depth2Image</a></li> <li><a href="#multidiffusion-panorama">MultiDiffusion Panorama</a></li> <li><a href="#dreambooth">DreamBooth</a></li> <li><a href="#textual-inversion">Textual Inversion</a></li> <li><a href="#controlnet">ControlNet</a></li> <li><a href="#prompt-weighting">プロンプト重み付け</a></li> <li><a href="#custom-diffusion">カスタム Diffusion</a></li> <li><a href="#diffedit">DiffEdit</a></li> <li><a href="#t2i-adapter">T2I-Adapter</a></li> <li><a href="#fabric">FABRIC</a></li></ol> <p>利便性のため、どの手法が推論のみに対応し、どの手法がファインチューニング／トレーニングを必要とするかを表にまとめました。</p> <table><thead><tr><th align="center"><strong>メソッド</strong></th><th align="center"><strong>推論のみ</strong></th><th align="center"><strong>トレーニング /<br/> ファインチューニングが必要</strong></th><th align="center"><strong>コメント</strong></th></tr></thead><tbody><tr><td align="center"><a href="#instructpix2pix">InstructPix2Pix</a></td><td align="center">✅</td><td align="center">❌</td><td align="center">さらに、特定の<br/>編集指示における<br/>パフォーマンスを向上させるために、<br/>ファインチューニングを行うこともできます。</td></tr><tr><td align="center"><a href="#attend-and-excite">Attend and Excite</a></td><td align="center">✅</td><td align="center">❌</td><td align="center"></td></tr><tr><td align="center"><a href="#semantic-guidance-sega">セマンティックガイダンス</a></td><td align="center">✅</td><td align="center">❌</td><td align="center"></td></tr><tr><td align="center"><a href="#self-attention-guidance-sag">セルフアテンションガイダンス</a></td><td align="center">✅</td><td align="center">❌</td><td align="center"></td></tr><tr><td align="center"><a href="#depth2image">Depth2Image</a></td><td align="center">✅</td><td align="center">❌</td><td align="center"></td></tr><tr><td align="center"><a href="#multidiffusion-panorama">MultiDiffusion Panorama</a></td><td align="center">✅</td><td align="center">❌</td><td align="center"></td></tr><tr><td align="center"><a href="#dreambooth">DreamBooth</a></td><td align="center">❌</td><td align="center">✅</td><td align="center"></td></tr><tr><td align="center"><a href="#textual-inversion">Textual Inversion</a></td><td align="center">❌</td><td align="center">✅</td><td align="center"></td></tr><tr><td align="center"><a href="#controlnet">ControlNet</a></td><td align="center">✅</td><td align="center">❌</td><td align="center">ControlNetは、<br/>カスタム条件付けに対して<br/>学習/ファインチューニングできます。</td></tr><tr><td align="center"><a href="#prompt-weighting">プロンプト重み付け</a></td><td align="center">✅</td><td align="center">❌</td><td align="center"></td></tr><tr><td align="center"><a href="#custom-diffusion">カスタム Diffusion</a></td><td align="center">❌</td><td align="center">✅</td><td align="center"></td></tr><tr><td align="center"><a href="#diffedit">DiffEdit</a></td><td align="center">✅</td><td align="center">❌</td><td align="center"></td></tr><tr><td align="center"><a href="#t2i-adapter">T2I-Adapter</a></td><td align="center">✅</td><td align="center">❌</td><td align="center"></td></tr><tr><td align="center"><a href="#fabric">Fabric</a></td><td align="center">✅</td><td align="center">❌</td><td align="center"></td></tr></tbody></table> <!--[1--><h2 class="relative group"><a id="instructpix2pix" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#instructpix2pix"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span><!---->InstructPix2Pix<!----></span></h2><!--]--><!----> <p><a href="https://huggingface.co/papers/2211.09800" rel="nofollow">論文</a></p> <p><a href="../api/pipelines/pix2pix">InstructPix2Pix</a>は、入力画像の編集をサポートするためにStable Diffusionからファインチューニングされています。入力として画像と、編集内容を示すプロンプトを受け取り、編集後の画像を出力します。
InstructPix2Pixは、<a href="https://openai.com/blog/instruction-following/" rel="nofollow">InstructGPT</a>のようなプロンプトと良好に動作するように明示的に学習されています。</p> <!--[1--><h2 class="relative group"><a id="attend-and-excite" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#attend-and-excite"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span><!---->Attend and Excite<!----></span></h2><!--]--><!----> <p><a href="https://huggingface.co/papers/2301.13826" rel="nofollow">論文</a></p> <p>Attend and Excite は、プロンプト内の被体が最終的な画像に忠実に表現されることを可能にします。</p> <p>プロンプト内の、画像に存在させる必要がある対象に対応するトークンインデックスのセットが入力として与えられます。デノイジング（ノイズ除去）処理中、各トークンインデックスは、画像の少なくとも1つのパッチに対して最小限の注意（アテンション）閾値を確保することが保証されます。デノイジング処理の過程で中間潜在変数（intermediate latents）が反復的に最適化され、最も注意が不足している対象トークンのアテンションを強化し、すべての対象トークンについてアテンション閾値を達成するまで続行されます。</p> <p>Pix2Pix Zeroと同様に、Attend and Exciteのパイプラインにはミニマルな最適化ループ（事前学習済み重みは変更しない）が含まれており、通常の<a href="../api/pipelines/stable_diffusion/text2img">StableDiffusionPipeline</a>よりも多くのメモリを必要とする場合があります。</p> <!--[1--><h2 class="relative group"><a id="semantic-guidance-sega" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#semantic-guidance-sega"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span><!---->セマンティックガイダンス（SEGA）<!----></span></h2><!--]--><!----> <p><a href="https://huggingface.co/papers/2301.12247" rel="nofollow">論文</a></p> <p>SEGAでは、画像から1つ以上の概念を適用または除去できます。また、概念の強度も制御可能です。例えば、笑顔の概念を使用することで、ポートレートにおける笑顔の強さを段階的に増減させることができます。</p> <p>分類器なしガイダンスが空のプロンプト入力を通じてガイダンスを提供するのと同様に、SEGAは概念的プロンプトに対してガイダンスを提供します。これらの概念的プロンプトは複数同時に適用できます。各概念的プロンプトは、ガイダンスが正に適用されるか負に適用されるかによって、その概念を追加または削除します。</p> <p>Pix2Pix ZeroやAttend and Exciteとは異なり、SEGAは明示的な勾配ベースの最適化を行うのではなく、拡散プロセスに直接作用します。</p> <!--[1--><h2 class="relative group"><a id="self-attention-guidance-sag" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#self-attention-guidance-sag"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span><!---->自己注意ガイダンス (SAG)<!----></span></h2><!--]--><!----> <p><a href="https://huggingface.co/papers/2210.00939" rel="nofollow">論文</a></p> <p>Self-attention Guidance は、画像の一般的な品質を向上させます。</p> <p>SAGは、高周波数の詳細に条件付けられていない予測から、完全に条件付けられた画像へのガイダンスを提供します。高周波数の詳細は、UNetの自己注意マップから抽出されます。</p> <!--[1--><h2 class="relative group"><a id="depth2image" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#depth2image"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span><!---->Depth2Image<!----></span></h2><!--]--><!----> <p><a href="https://huggingface.co/stabilityai/stable-diffusion-2-depth" rel="nofollow">プロジェクト</a></p> <p><a href="../api/pipelines/stable_diffusion/depth2img">Depth2Image</a>は、テキストによる画像変形において意味をよりよく保持できるよう、Stable Diffusionからファインチューニングされています。</p> <p>元の画像の単眼深度推定値を条件として使用します。</p> <!--[1--><h2 class="relative group"><a id="multidiffusion-panorama" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#multidiffusion-panorama"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span><!---->MultiDiffusion Panorama<!----></span></h2><!--]--><!----> <p><a href="https://huggingface.co/papers/2302.08113" rel="nofollow">論文</a></p> <p>MultiDiffusion Panorama は、事前学習済みの拡散モデルに対して新しい生成プロセスを定義します。このプロセスは、高品質かつ多様な画像を生成するために容易に適用できる複数の拡散生成手法を統合します。結果は、ユーザーが指定した制御条件（例：望ましいアスペクト比（パノラマなど）や、厳密なセグメンテーションマスクからバウンディングボックスまでの空間的なガイド信号）に準拠します。
MultiDiffusion Panorama を使用すると、任意のアスペクト比（例：パノラマ）で高品質な画像を生成できます。</p> <!--[1--><h2 class="relative group"><a id="fine-tuning-your-own-models" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#fine-tuning-your-own-models"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span><!---->独自のモデルのファインチューニング<!----></span></h2><!--]--><!----> <p>事前学習済みモデルに加えて、Diffusersには、ユーザーが提供するデータでモデルをファインチューニングするための学習スクリプトが用意されています。</p> <!--[1--><h2 class="relative group"><a id="dreambooth" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#dreambooth"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span><!---->DreamBooth<!----></span></h2><!--]--><!----> <p><a href="https://dreambooth.github.io/" rel="nofollow">プロジェクト</a></p> <p><a href="../training/dreambooth">DreamBooth</a> は、モデルをファインチューニングして新しい被体を学習させます。つまり、ある人物の写真を数枚用意するだけで、その人物をさまざまなスタイルで描いた画像を生成できます。</p> <!--[1--><h2 class="relative group"><a id="textual-inversion" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#textual-inversion"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span><!---->Textual Inversion<!----></span></h2><!--]--><!----> <p><a href="https://huggingface.co/papers/2208.01618" rel="nofollow">論文</a></p> <p><a href="../training/text_inversion">Textual Inversion</a>は、モデルに新しい概念を学習させるためにファインチューニングを行います。例えば、特定のスタイルの作品の画像を数枚用意することで、そのスタイルの画像を生成できるようになります。</p> <!--[1--><h2 class="relative group"><a id="controlnet" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#controlnet"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span><!---->ControlNet<!----></span></h2><!--]--><!----> <p><a href="https://huggingface.co/papers/2302.05543" rel="nofollow">論文</a></p> <p><a href="../api/pipelines/controlnet">ControlNet</a>は、追加の条件を付加する補助ネットワークです。
エッジ検出、スケッチ、深度マップ、セマンティックセグメンテーションなど、異なる条件付けで学習された8つの正規化された事前学習済みControlNetがあります。</p> <!--[1--><h2 class="relative group"><a id="prompt-weighting" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#prompt-weighting"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span><!---->プロンプト重み付け<!----></span></h2><!--]--><!----> <p><a href="../using-diffusers/weighted_prompts">Prompt weighting</a>は、テキスト入力の特定の部分により多くの注意の重みを付与するシンプルな手法です。</p> <!--[1--><h2 class="relative group"><a id="custom-diffusion" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#custom-diffusion"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span><!---->Custom Diffusion<!----></span></h2><!--]--><!----> <p><a href="https://huggingface.co/papers/2212.04488" rel="nofollow">論文</a></p> <p><a href="../training/custom_diffusion">Custom Diffusion</a>は、事前学習済みのテキストから画像を生成する拡散モデルのクロスアテンションマップのみをファインチューニングします。また、Textual Inversionを併用することも可能です。設計上、マルチコンセプトの学習に対応しています。DreamBoothやTextual Inversionと同様に、Custom Diffusionも、事前学習済みのテキストから画像を生成する拡散モデルに新しいコンセプトを学習させ、そのコンセプトを含む出力を生成するために使用されます。</p> <!--[1--><h2 class="relative group"><a id="diffedit" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#diffedit"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span><!---->DiffEdit<!----></span></h2><!--]--><!----> <p><a href="https://huggingface.co/papers/2210.11427" rel="nofollow">論文</a></p> <p>DiffEditは、元の入力画像を可能な限り維持したまま、入力プロンプトと合わせて入力画像の意味的な編集を可能にします。</p> <!--[1--><h2 class="relative group"><a id="t2i-adapter" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#t2i-adapter"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span><!---->T2I-Adapter<!----></span></h2><!--]--><!----> <p><a href="https://huggingface.co/papers/2302.08453" rel="nofollow">論文</a></p> <p><a href="../api/pipelines/stable_diffusion/adapter">T2I-Adapter</a> は、追加の条件を付加するための補助ネットワークです。
エッジ検出、スケッチ、深度マップ、セマンティックセグメンテーションなど、異なる条件付けで学習された 8 つの正規化された事前学習済みアダプターがあります。</p> <!--[1--><h2 class="relative group"><a id="fabric" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#fabric"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span><!---->Fabric<!----></span></h2><!--]--><!----> <p><a href="https://huggingface.co/papers/2307.10159" rel="nofollow">論文</a></p> <p><a href="https://github.com/huggingface/diffusers/tree/442017ccc877279bcf24fbe92f92d3d0def191b6/examples/community#stable-diffusion-fabric-pipeline" rel="nofollow">Fabric</a>は、学習不要で、幅広い人気のある拡散モデルに適用可能なアプローチです。最も広く使用されているアーキテクチャに存在する自己注意層を活用し、フィードバック画像の集合に基づいて拡散過程を条件付けます。</p> <a class="!text-gray-400 !no-underline text-sm flex items-center not-prose mt-4" href="https://github.com/huggingface/diffusers/blob/main/docs/source/en/using-diffusers/controlling_generation.md" target="_blank"><svg class="mr-1" xmlns="http://www.w3.org/2000/svg" aria-hidden="true" fill="currentColor" focusable="false" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 32 32"><path d="M31,16l-7,7l-1.41-1.41L28.17,16l-5.58-5.59L24,9l7,7z"></path><path d="M1,16l7-7l1.41,1.41L3.83,16l5.58,5.59L8,23l-7-7z"></path><path d="M12.419,25.484L17.639,6.552l1.932,0.518L14.351,26.002z"></path></svg><!----> <span><span class="underline">Update</span> on GitHub</span></a><!----> <p></p><!--]--><!----><!--]--><!--]--><!--]--> <!--[-1--><!--]--><!--]-->
			
			<script>
				{
					__sveltekit_1qsdbwf = {
						base: "/docs/diffusers/main/en",
						assets: "/docs/diffusers/main/en"
					};
					const element = document.currentScript.parentElement;
					Promise.all([
						import("/docs/diffusers/main/en/_app/immutable/entry/start.0S0_iEoG.js"),
						import("/docs/diffusers/main/en/_app/immutable/entry/app.CPdOxCbw.js")
					]).then(([kit, app]) => {
						kit.start(app, element, {
							node_ids: [0, 390],
							data: [null,null],
							form: null,
							error: null
						});
					});
				}
			</script>
		
Xet Storage Details

Size:: 41.4 kB
Xet hash:: c6d09d474705e9c6cbb70ebf5d31a1accef9283eea4e995a55c8bb34b6d85a53
Xet efficiently stores files, intelligently splitting them into unique chunks and accelerating uploads and downloads. More info.