Hugging Face's logo

Buckets:
hf-doc-build
/
doc

Files
xet
hf-doc-build/doc / diffusers /v0.43.0 /es /using-diffusers /controlling_generation.html
mishig's picture
mishig
download
raw
39.7 kB
<meta charset="utf-8" /><meta name="hf:doc:metadata" content="{&quot;title&quot;:&quot;Generación controlada&quot;,&quot;local&quot;:&quot;controlled-generation&quot;,&quot;sections&quot;:[{&quot;title&quot;:&quot;InstructPix2Pix&quot;,&quot;local&quot;:&quot;instructpix2pix&quot;,&quot;sections&quot;:[],&quot;depth&quot;:2},{&quot;title&quot;:&quot;Atender y Excitar&quot;,&quot;local&quot;:&quot;attend-and-excite&quot;,&quot;sections&quot;:[],&quot;depth&quot;:2},{&quot;title&quot;:&quot;Guía semántica (SEGA)&quot;,&quot;local&quot;:&quot;semantic-guidance-sega&quot;,&quot;sections&quot;:[],&quot;depth&quot;:2},{&quot;title&quot;:&quot;Guía de autoatención (SAG)&quot;,&quot;local&quot;:&quot;self-attention-guidance-sag&quot;,&quot;sections&quot;:[],&quot;depth&quot;:2},{&quot;title&quot;:&quot;Depth2Image&quot;,&quot;local&quot;:&quot;depth2image&quot;,&quot;sections&quot;:[],&quot;depth&quot;:2},{&quot;title&quot;:&quot;MultiDiffusion Panorama&quot;,&quot;local&quot;:&quot;multidiffusion-panorama&quot;,&quot;sections&quot;:[],&quot;depth&quot;:2},{&quot;title&quot;:&quot;Ajuste fino de tus propios modelos&quot;,&quot;local&quot;:&quot;fine-tuning-your-own-models&quot;,&quot;sections&quot;:[],&quot;depth&quot;:2},{&quot;title&quot;:&quot;DreamBooth&quot;,&quot;local&quot;:&quot;dreambooth&quot;,&quot;sections&quot;:[],&quot;depth&quot;:2},{&quot;title&quot;:&quot;Inversión textual&quot;,&quot;local&quot;:&quot;textual-inversion&quot;,&quot;sections&quot;:[],&quot;depth&quot;:2},{&quot;title&quot;:&quot;ControlNet&quot;,&quot;local&quot;:&quot;controlnet&quot;,&quot;sections&quot;:[],&quot;depth&quot;:2},{&quot;title&quot;:&quot;Pesos de los prompts&quot;,&quot;local&quot;:&quot;prompt-weighting&quot;,&quot;sections&quot;:[],&quot;depth&quot;:2},{&quot;title&quot;:&quot;Custom Diffusion&quot;,&quot;local&quot;:&quot;custom-diffusion&quot;,&quot;sections&quot;:[],&quot;depth&quot;:2},{&quot;title&quot;:&quot;DiffEdit&quot;,&quot;local&quot;:&quot;diffedit&quot;,&quot;sections&quot;:[],&quot;depth&quot;:2},{&quot;title&quot;:&quot;T2I-Adapter&quot;,&quot;local&quot;:&quot;t2i-adapter&quot;,&quot;sections&quot;:[],&quot;depth&quot;:2},{&quot;title&quot;:&quot;Fabric&quot;,&quot;local&quot;:&quot;fabric&quot;,&quot;sections&quot;:[],&quot;depth&quot;:2}],&quot;depth&quot;:1}"/>
<link href="/docs/diffusers/main/en/_app/immutable/entry/start.0S0_iEoG.js" rel="modulepreload">
<link href="/docs/diffusers/main/en/_app/immutable/chunks/I9eooN77.js" rel="modulepreload">
<link href="/docs/diffusers/main/en/_app/immutable/chunks/Bupkjr9f.js" rel="modulepreload">
<link href="/docs/diffusers/main/en/_app/immutable/entry/app.CPdOxCbw.js" rel="modulepreload">
<link href="/docs/diffusers/main/en/_app/immutable/chunks/CyvZ3FS5.js" rel="modulepreload">
<link href="/docs/diffusers/main/en/_app/immutable/chunks/l0QnnOED.js" rel="modulepreload">
<link href="/docs/diffusers/main/en/_app/immutable/chunks/DnVIJfC5.js" rel="modulepreload">
<link href="/docs/diffusers/main/en/_app/immutable/chunks/DsnmJJEf.js" rel="modulepreload">
<link href="/docs/diffusers/main/en/_app/immutable/nodes/0.DteTvmQZ.js" rel="modulepreload">
<link href="/docs/diffusers/main/en/_app/immutable/chunks/CoSrdQax.js" rel="modulepreload">
<link href="/docs/diffusers/main/en/_app/immutable/nodes/390.DYfxoBKz.js" rel="modulepreload">
<link href="/docs/diffusers/main/en/_app/immutable/chunks/DSPDl1gz.js" rel="modulepreload">
<!--1v3kjpy--><meta name="hf:doc:metadata" content="{&quot;title&quot;:&quot;Controlled generation&quot;,&quot;local&quot;:&quot;controlled-generation&quot;,&quot;sections&quot;:[{&quot;title&quot;:&quot;InstructPix2Pix&quot;,&quot;local&quot;:&quot;instructpix2pix&quot;,&quot;sections&quot;:[],&quot;depth&quot;:2},{&quot;title&quot;:&quot;Attend and Excite&quot;,&quot;local&quot;:&quot;attend-and-excite&quot;,&quot;sections&quot;:[],&quot;depth&quot;:2},{&quot;title&quot;:&quot;Semantic Guidance (SEGA)&quot;,&quot;local&quot;:&quot;semantic-guidance-sega&quot;,&quot;sections&quot;:[],&quot;depth&quot;:2},{&quot;title&quot;:&quot;Self-attention Guidance (SAG)&quot;,&quot;local&quot;:&quot;self-attention-guidance-sag&quot;,&quot;sections&quot;:[],&quot;depth&quot;:2},{&quot;title&quot;:&quot;Depth2Image&quot;,&quot;local&quot;:&quot;depth2image&quot;,&quot;sections&quot;:[],&quot;depth&quot;:2},{&quot;title&quot;:&quot;MultiDiffusion Panorama&quot;,&quot;local&quot;:&quot;multidiffusion-panorama&quot;,&quot;sections&quot;:[],&quot;depth&quot;:2},{&quot;title&quot;:&quot;Fine-tuning your own models&quot;,&quot;local&quot;:&quot;fine-tuning-your-own-models&quot;,&quot;sections&quot;:[],&quot;depth&quot;:2},{&quot;title&quot;:&quot;DreamBooth&quot;,&quot;local&quot;:&quot;dreambooth&quot;,&quot;sections&quot;:[],&quot;depth&quot;:2},{&quot;title&quot;:&quot;Textual Inversion&quot;,&quot;local&quot;:&quot;textual-inversion&quot;,&quot;sections&quot;:[],&quot;depth&quot;:2},{&quot;title&quot;:&quot;ControlNet&quot;,&quot;local&quot;:&quot;controlnet&quot;,&quot;sections&quot;:[],&quot;depth&quot;:2},{&quot;title&quot;:&quot;Prompt Weighting&quot;,&quot;local&quot;:&quot;prompt-weighting&quot;,&quot;sections&quot;:[],&quot;depth&quot;:2},{&quot;title&quot;:&quot;Custom Diffusion&quot;,&quot;local&quot;:&quot;custom-diffusion&quot;,&quot;sections&quot;:[],&quot;depth&quot;:2},{&quot;title&quot;:&quot;DiffEdit&quot;,&quot;local&quot;:&quot;diffedit&quot;,&quot;sections&quot;:[],&quot;depth&quot;:2},{&quot;title&quot;:&quot;T2I-Adapter&quot;,&quot;local&quot;:&quot;t2i-adapter&quot;,&quot;sections&quot;:[],&quot;depth&quot;:2},{&quot;title&quot;:&quot;Fabric&quot;,&quot;local&quot;:&quot;fabric&quot;,&quot;sections&quot;:[],&quot;depth&quot;:2}],&quot;depth&quot;:1}"/><!---->
<link href="/docs/diffusers/main/en/_app/immutable/assets/0.tn0RQdqM.css" rel="modulepreload"> <!--[--><!--[0--><!--[--><!--[0--><!--[--><p></p> <div class="items-center shrink-0 min-w-[100px] max-sm:min-w-[50px] justify-end ml-auto flex" style="float: inline-end; margin-inline-start: 10px; display: inline-flex; position: relative; z-index: 10;"><div dir="ltr" class="inline-flex rounded-md max-sm:rounded-sm"><button class="inline-flex items-center gap-1 h-7 max-sm:h-7 px-2 max-sm:px-1.5 text-sm font-medium text-gray-800 border border-r-0 rounded-l-md max-sm:rounded-l-sm border-gray-200 bg-white hover:shadow-inner dark:border-gray-850 dark:bg-gray-950 dark:text-gray-200 dark:hover:bg-gray-800" aria-live="polite"><span class="inline-flex items-center justify-center rounded-md p-0.5 max-sm:p-0 hover:text-gray-800 dark:hover:text-gray-200"><svg class="sm:size-3.5 size-3" xmlns="http://www.w3.org/2000/svg" aria-hidden="true" fill="currentColor" focusable="false" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 32 32"><path d="M28,10V28H10V10H28m0-2H10a2,2,0,0,0-2,2V28a2,2,0,0,0,2,2H28a2,2,0,0,0,2-2V10a2,2,0,0,0-2-2Z" transform="translate(0)"></path><path d="M4,18H2V4A2,2,0,0,1,4,2H18V4H4Z" transform="translate(0)"></path><rect fill="none" width="32" height="32"></rect></svg><!----></span> <span dir="auto">Copy page</span></button> <button class="inline-flex items-center justify-center w-6 max-sm:w-5 h-7 max-sm:h-7 disabled:pointer-events-none text-sm text-gray-500 hover:text-gray-700 dark:hover:text-white rounded-r-md max-sm:rounded-r-sm border border-l transition border-gray-200 bg-white hover:shadow-inner dark:border-gray-850 dark:bg-gray-950 dark:text-gray-200 dark:hover:bg-gray-800" aria-haspopup="menu" aria-expanded="false" aria-label="Open copy menu"><svg class="transition-transform text-gray-400 overflow-visible sm:size-3.5 size-3 rotate-0" width="1em" height="1em" viewBox="0 0 12 7" fill="none" xmlns="http://www.w3.org/2000/svg"><path d="M1 1L6 6L11 1" stroke="currentColor"></path></svg><!----></button></div> <!--[-1--><!--]--></div><!----> <!--[0--><h1 class="relative group"><a id="controlled-generation" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#controlled-generation"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span><!---->Generación controlada<!----></span></h1><!--]--><!----> <p>Controlar las salidas generadas por los modelos de difusión ha sido un objetivo perseguido durante mucho tiempo por la comunidad y es ahora un tema de investigación activo. En muchos modelos de difusión populares, cambios sutiles en las entradas, tanto en las imágenes como en los prompts de texto, pueden alterar drásticamente las salidas. En un mundo ideal, querríamos poder controlar cómo se preservan y modifican las semánticas.</p> <p>La mayoría de los ejemplos de preservación de semántica se reducen a la capacidad de mapear con precisión un cambio en la entrada a un cambio en la salida. Es decir, añadir un adjetivo a un sujeto en un prompt preserva la imagen completa, modificando únicamente el sujeto cambiado. O bien, la variación de imagen de un sujeto particular preserva la pose del sujeto.</p> <p>Además, existen cualidades de las imágenes generadas que nos gustaría influir más allá de la preservación semántica. Es decir, en general, nos gustaría que nuestras salidas sean de buena calidad, sigan un estilo particular o sean realistas.</p> <p>Documentaremos algunas de las técnicas que <code>diffusers</code> admite para controlar la generación de modelos de difusión. Gran parte de esto es investigación de vanguardia y puede ser bastante matizada. Si algo necesita aclaración o tienes una sugerencia, no dudes en abrir una <a href="https://github.com/huggingface/diffusers/discussions" rel="nofollow">discusión de GitHub</a> o un <a href="https://github.com/huggingface/diffusers/issues" rel="nofollow">issue de GitHub</a>.</p> <p>Proporcionamos una explicación de alto nivel sobre cómo se puede controlar la generación, así como un fragmento de los detalles técnicos. Para explicaciones más profundas sobre los aspectos técnicos, los artículos originales, a los que se enlaza desde las pipelines, son siempre la mejor referencia.</p> <p>Dependiendo del caso de uso, se debe elegir una técnica en consecuencia. En muchos casos, estas técnicas se pueden combinar. Por ejemplo, se puede combinar Textual Inversion con SEGA para proporcionar una guía semántica más detallada a las salidas generadas mediante Textual Inversion.</p> <p>A menos que se indique lo contrario, estas son técnicas que funcionan con modelos existentes y no requieren sus propios pesos.</p> <ol><li><a href="#instructpix2pix">InstructPix2Pix</a></li> <li><a href="#attend-and-excite">Atender y Excitar</a></li> <li><a href="#semantic-guidance-sega">Guía semántica</a></li> <li><a href="#self-attention-guidance-sag">Guía de autoatención</a></li> <li><a href="#depth2image">Depth2Image</a></li> <li><a href="#multidiffusion-panorama">Panorama MultiDiffusion</a></li> <li><a href="#dreambooth">DreamBooth</a></li> <li><a href="#textual-inversion">Inversión textual</a></li> <li><a href="#controlnet">ControlNet</a></li> <li><a href="#prompt-weighting">Ponderación de prompts</a></li> <li><a href="#custom-diffusion">Diffusión personalizada</a></li> <li><a href="#diffedit">DiffEdit</a></li> <li><a href="#t2i-adapter">T2I-Adapter</a></li> <li><a href="#fabric">FABRIC</a></li></ol> <p>Para su comodidad, proporcionamos una tabla que indica qué métodos son solo de inferencia y cuáles requieren ajuste fino/entrenamiento.</p> <table><thead><tr><th align="center"><strong>Método</strong></th><th align="center"><strong>Solo inferencia</strong></th><th align="center"><strong>Requiere entrenamiento /<br/> ajuste fino</strong></th><th align="center"><strong>Comentarios</strong></th></tr></thead><tbody><tr><td align="center"><a href="#instructpix2pix">InstructPix2Pix</a></td><td align="center">✅</td><td align="center">❌</td><td align="center">Además, se puede <br/>ajustar para mejorar el <br/>rendimiento en instrucciones de <br/>edición específicas.</td></tr><tr><td align="center"><a href="#attend-and-excite">Atender y Excitar</a></td><td align="center">✅</td><td align="center">❌</td><td align="center"></td></tr><tr><td align="center"><a href="#semantic-guidance-sega">Guía semántica</a></td><td align="center">✅</td><td align="center">❌</td><td align="center"></td></tr><tr><td align="center"><a href="#self-attention-guidance-sag">Guía de autoatención</a></td><td align="center">✅</td><td align="center">❌</td><td align="center"></td></tr><tr><td align="center"><a href="#depth2image">Depth2Image</a></td><td align="center">✅</td><td align="center">❌</td><td align="center"></td></tr><tr><td align="center"><a href="#multidiffusion-panorama">Panorama MultiDiffusion</a></td><td align="center">✅</td><td align="center">❌</td><td align="center"></td></tr><tr><td align="center"><a href="#dreambooth">DreamBooth</a></td><td align="center">❌</td><td align="center">✅</td><td align="center"></td></tr><tr><td align="center"><a href="#textual-inversion">Inversión textual</a></td><td align="center">❌</td><td align="center">✅</td><td align="center"></td></tr><tr><td align="center"><a href="#controlnet">ControlNet</a></td><td align="center">✅</td><td align="center">❌</td><td align="center">Un ControlNet se puede <br/>entrenar/ajustar finamente sobre<br/>una condición personalizada.</td></tr><tr><td align="center"><a href="#prompt-weighting">Ponderación de prompts</a></td><td align="center">✅</td><td align="center">❌</td><td align="center"></td></tr><tr><td align="center"><a href="#custom-diffusion">Diffusión personalizada</a></td><td align="center">❌</td><td align="center">✅</td><td align="center"></td></tr><tr><td align="center"><a href="#diffedit">DiffEdit</a></td><td align="center">✅</td><td align="center">❌</td><td align="center"></td></tr><tr><td align="center"><a href="#t2i-adapter">T2I-Adapter</a></td><td align="center">✅</td><td align="center">❌</td><td align="center"></td></tr><tr><td align="center"><a href="#fabric">Fabric</a></td><td align="center">✅</td><td align="center">❌</td><td align="center"></td></tr></tbody></table> <!--[1--><h2 class="relative group"><a id="instructpix2pix" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#instructpix2pix"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span><!---->InstructPix2Pix<!----></span></h2><!--]--><!----> <p><a href="https://huggingface.co/papers/2211.09800" rel="nofollow">Artículo</a></p> <p><a href="../api/pipelines/pix2pix">InstructPix2Pix</a> se ajusta a partir de Stable Diffusion para admitir la edición de imágenes de entrada. Toma como entradas una imagen y un prompt que describe una edición, y devuelve la imagen editada.
InstructPix2Pix se ha entrenado explícitamente para funcionar bien con prompts similares a los de <a href="https://openai.com/blog/instruction-following/" rel="nofollow">InstructGPT</a>.</p> <!--[1--><h2 class="relative group"><a id="attend-and-excite" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#attend-and-excite"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span><!---->Atender y Excitar<!----></span></h2><!--]--><!----> <p><a href="https://huggingface.co/papers/2301.13826" rel="nofollow">Artículo</a></p> <p>Attend and Excite permite que los sujetos en el prompt se representen fielmente en la imagen final.</p> <p>Se proporcionan como entrada un conjunto de índices de tokens, que corresponden a los sujetos del prompt que deben estar presentes en la imagen. Durante el desruido, se garantiza que cada índice de token tenga un umbral mínimo de atención para al menos un parche de la imagen. Los latentes intermedios se optimizan de forma iterativa durante el proceso de desruido para reforzar la atención del token de sujeto más descuidado hasta que se supere el umbral de atención para todos los tokens de sujeto.</p> <p>Al igual que Pix2Pix Zero, Attend and Excite también implica un mini bucle de optimización (dejando intactos los pesos preentrenados) en su pipeline y puede requerir más memoria que el <a href="../api/pipelines/stable_diffusion/text2img">StableDiffusionPipeline</a> habitual.</p> <!--[1--><h2 class="relative group"><a id="semantic-guidance-sega" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#semantic-guidance-sega"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span><!---->Guía semántica (SEGA)<!----></span></h2><!--]--><!----> <p><a href="https://huggingface.co/papers/2301.12247" rel="nofollow">Artículo</a></p> <p>SEGA permite aplicar o eliminar uno o más conceptos de una imagen. También se puede controlar la intensidad del concepto. Es decir, el concepto de sonrisa se puede usar para aumentar o disminuir gradualmente la sonrisa de un retrato.</p> <p>De manera similar a como la guía sin clasificador proporciona orientación mediante entradas de prompt vacías, SEGA proporciona orientación sobre prompts conceptuales. Se pueden aplicar varios de estos prompts conceptuales simultáneamente. Cada prompt conceptual puede añadir o eliminar su concepto dependiendo de si la guía se aplica de forma positiva o negativa.</p> <p>A diferencia de Pix2Pix Zero o Attend and Excite, SEGA interactúa directamente con el proceso de difusión en lugar de realizar una optimización explícita basada en gradientes.</p> <!--[1--><h2 class="relative group"><a id="self-attention-guidance-sag" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#self-attention-guidance-sag"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span><!---->Guía de autoatención (SAG)<!----></span></h2><!--]--><!----> <p><a href="https://huggingface.co/papers/2210.00939" rel="nofollow">Artículo</a></p> <p>La guía de autoatención mejora la calidad general de las imágenes.</p> <p>SAG proporciona orientación desde predicciones no condicionadas en detalles de alta frecuencia hasta imágenes totalmente condicionadas. Los detalles de alta frecuencia se extraen de los mapas de autoatención del UNet.</p> <!--[1--><h2 class="relative group"><a id="depth2image" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#depth2image"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span><!---->Depth2Image<!----></span></h2><!--]--><!----> <p><a href="https://huggingface.co/stabilityai/stable-diffusion-2-depth" rel="nofollow">Proyecto</a></p> <p><a href="../api/pipelines/stable_diffusion/depth2img">Depth2Image</a> se ajusta a partir de Stable Diffusion para preservar mejor la semántica en la variación de imágenes guiada por texto.</p> <p>Se condiciona en una estimación de profundidad monocular de la imagen original.</p> <!--[1--><h2 class="relative group"><a id="multidiffusion-panorama" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#multidiffusion-panorama"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span><!---->MultiDiffusion Panorama<!----></span></h2><!--]--><!----> <p><a href="https://huggingface.co/papers/2302.08113" rel="nofollow">Artículo</a></p> <p>MultiDiffusion Panorama define un nuevo proceso de generación sobre un modelo de difusión preentrenado. Este proceso combina varios métodos de generación por difusión que pueden aplicarse fácilmente para generar imágenes de alta calidad y diversas. Los resultados se ajustan a los controles proporcionados por el usuario, como la relación de aspecto deseada (p. ej., panorámica) y señales de guía espacial, que van desde máscaras de segmentación estrictas hasta cajas delimitadoras.
MultiDiffusion Panorama le permite generar imágenes de alta calidad en relaciones de aspecto arbitrarias (p. ej., panorámicas).</p> <!--[1--><h2 class="relative group"><a id="fine-tuning-your-own-models" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#fine-tuning-your-own-models"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span><!---->Ajuste fino de tus propios modelos<!----></span></h2><!--]--><!----> <p>Además de los modelos preentrenados, Diffusers incluye scripts de entrenamiento para ajustar modelos con datos proporcionados por el usuario.</p> <!--[1--><h2 class="relative group"><a id="dreambooth" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#dreambooth"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span><!---->DreamBooth<!----></span></h2><!--]--><!----> <p><a href="https://dreambooth.github.io/" rel="nofollow">Proyecto</a></p> <p><a href="../training/dreambooth">DreamBooth</a> ajusta el afinamiento de un modelo para enseñarle sobre un nuevo sujeto. Es decir, unas pocas fotos de una persona pueden usarse para generar imágenes de esa persona en diferentes estilos.</p> <!--[1--><h2 class="relative group"><a id="textual-inversion" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#textual-inversion"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span><!---->Inversión textual<!----></span></h2><!--]--><!----> <p><a href="https://huggingface.co/papers/2208.01618" rel="nofollow">Artículo</a></p> <p><a href="../training/text_inversion">Textual Inversion</a> ajusta un modelo para enseñarle un concepto nuevo. Es decir, unas pocas imágenes de un estilo de arte pueden usarse para generar imágenes en ese estilo.</p> <!--[1--><h2 class="relative group"><a id="controlnet" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#controlnet"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span><!---->ControlNet<!----></span></h2><!--]--><!----> <p><a href="https://huggingface.co/papers/2302.05543" rel="nofollow">Artículo</a></p> <p><a href="../api/pipelines/controlnet">ControlNet</a> es una red auxiliar que añade una condición adicional.
Existen 8 ControlNets preentrenados canónicos entrenados con diferentes condicionamientos, como la detección de bordes, garabatos,
mapas de profundidad y segmentaciones semánticas.</p> <!--[1--><h2 class="relative group"><a id="prompt-weighting" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#prompt-weighting"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span><!---->Pesos de los prompts<!----></span></h2><!--]--><!----> <p><a href="../using-diffusers/weighted_prompts">Peso del prompt</a> es una técnica sencilla que otorga más peso de atención a ciertas partes de la entrada de texto.</p> <!--[1--><h2 class="relative group"><a id="custom-diffusion" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#custom-diffusion"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span><!---->Custom Diffusion<!----></span></h2><!--]--><!----> <p><a href="https://huggingface.co/papers/2212.04488" rel="nofollow">Artículo</a></p> <p><a href="../training/custom_diffusion">Custom Diffusion</a> solo ajusta los mapas de atención cruzada de un modelo de difusión de texto a imagen preentrenado. También permite realizar adicionalmente Textual Inversion. Está diseñado para admitir el entrenamiento de múltiples conceptos. Al igual que DreamBooth y Textual Inversion, Custom Diffusion se utiliza para enseñar a un modelo de difusión de texto a imagen preentrenado sobre nuevos conceptos para generar salidas que involucren el o los conceptos de interés.</p> <!--[1--><h2 class="relative group"><a id="diffedit" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#diffedit"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span><!---->DiffEdit<!----></span></h2><!--]--><!----> <p><a href="https://huggingface.co/papers/2210.11427" rel="nofollow">Artículo</a></p> <p>DiffEdit permite la edición semántica de las imágenes de entrada junto con los prompts de entrada, preservando las imágenes de entrada originales en la mayor medida posible.</p> <!--[1--><h2 class="relative group"><a id="t2i-adapter" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#t2i-adapter"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span><!---->T2I-Adapter<!----></span></h2><!--]--><!----> <p><a href="https://huggingface.co/papers/2302.08453" rel="nofollow">Artículo</a></p> <p><a href="../api/pipelines/stable_diffusion/adapter">T2I-Adapter</a> es una red auxiliar que añade una condición adicional.
Existen 8 adaptadores preentrenados canónicos entrenados con diferentes condicionamientos, como detección de bordes, bocetos,
mapas de profundidad y segmentaciones semánticas.</p> <!--[1--><h2 class="relative group"><a id="fabric" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#fabric"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span><!---->Fabric<!----></span></h2><!--]--><!----> <p><a href="https://huggingface.co/papers/2307.10159" rel="nofollow">Artículo</a></p> <p><a href="https://github.com/huggingface/diffusers/tree/442017ccc877279bcf24fbe92f92d3d0def191b6/examples/community#stable-diffusion-fabric-pipeline" rel="nofollow">Fabric</a> es un enfoque sin entrenamiento aplicable a una amplia gama de modelos de difusión populares, que explota la capa de autoatención presente en las arquitecturas más utilizadas para condicionar el proceso de difusión en un conjunto de imágenes de retroalimentación.</p> <a class="!text-gray-400 !no-underline text-sm flex items-center not-prose mt-4" href="https://github.com/huggingface/diffusers/blob/main/docs/source/en/using-diffusers/controlling_generation.md" target="_blank"><svg class="mr-1" xmlns="http://www.w3.org/2000/svg" aria-hidden="true" fill="currentColor" focusable="false" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 32 32"><path d="M31,16l-7,7l-1.41-1.41L28.17,16l-5.58-5.59L24,9l7,7z"></path><path d="M1,16l7-7l1.41,1.41L3.83,16l5.58,5.59L8,23l-7-7z"></path><path d="M12.419,25.484L17.639,6.552l1.932,0.518L14.351,26.002z"></path></svg><!----> <span><span class="underline">Update</span> on GitHub</span></a><!----> <p></p><!--]--><!----><!--]--><!--]--><!--]--> <!--[-1--><!--]--><!--]-->
<script>
{
__sveltekit_1qsdbwf = {
base: "/docs/diffusers/main/en",
assets: "/docs/diffusers/main/en"
};
const element = document.currentScript.parentElement;
Promise.all([
import("/docs/diffusers/main/en/_app/immutable/entry/start.0S0_iEoG.js"),
import("/docs/diffusers/main/en/_app/immutable/entry/app.CPdOxCbw.js")
]).then(([kit, app]) => {
kit.start(app, element, {
node_ids: [0, 390],
data: [null,null],
form: null,
error: null
});
});
}
</script>

Xet Storage Details

Size:
39.7 kB
·
Xet hash:
8d4beb8f900a22ec3476b9e3360d647b08830310c6ff090e323a898401fa034e

Xet efficiently stores files, intelligently splitting them into unique chunks and accelerating uploads and downloads. More info.