Buckets:
| # UVit2DModel | |
| نموذج [U-ViT](https://hf.co/papers/2301.11093) هو UNet مبني على محول الرؤية (ViT). يدمج هذا النموذج عناصر من ViT (يعتبر جميع المدخلات مثل الوقت والشروط وبقع الصورة الضجيجية كرموز) وعناصر من UNet (اتصالات تخطٍ طويلة بين الطبقات الضحلة والعميقة). تُعدّ اتصال التخطي مهماً للتنبؤ بالميزات على مستوى البكسل. كما يُطبَّق كتل تجميع لولبي إضافي بحجم 3x3 قبل المخرج النهائي لتحسين جودة الصورة. | |
| ملخص الورقة البحثية هو: | |
| *حاليًا، يُعد تطبيق نماذج الانتشار في فضاء البكسلات للصور عالية الدقة أمرًا صعبًا. وبدلاً من ذلك، تركز الأساليب الحالية على الانتشار في فضاءات ذات أبعاد أقل (الانتشار الكامن)، أو لديها مستويات متعددة من التوليد فائق الدقة تُعرف بالتتابعات. والعيوب في هذه الأساليب أنها تضيف تعقيدًا إضافيًا إلى إطار عمل الانتشار. تهدف هذه الورقة إلى تحسين إزالة الضوضاء الانتشارية للصور عالية الدقة مع الحفاظ على النموذج بسيطًا قدر الإمكان. تدور الورقة حول سؤال البحث: كيف يمكن تدريب نماذج إزالة الضوضاء الانتشارية القياسية على صور عالية الدقة، والحصول في الوقت نفسه على أداء قابل للمقارنة مع هذه الأساليب البديلة؟ النتائج الرئيسية الأربع هي: 1) يجب تعديل جدول الضوضاء للصور عالية الدقة، 2) يكفي توسيع جزء معين فقط من البنية، 3) يجب إضافة الإسقاط (dropout) في مواقع محددة في البنية، و4) يُعد أخذ العينات المنخفضة (downsampling) استراتيجية فعالة لتجنب خرائط الميزات عالية الدقة. ومن خلال دمج هذه التقنيات البسيطة والفعالة، نحقق أداءً رائدًا في توليد الصور بين نماذج الانتشار دون استخدام معدّلات أخذ العينات على ImageNet.* | |
| ## UVit2DModel[[diffusers.UVit2DModel]] | |
| #### diffusers.UVit2DModel[[diffusers.UVit2DModel]] | |
| ```python | |
| diffusers.UVit2DModel(hidden_size: int = 1024, use_bias: bool = False, hidden_dropout: float = 0.0, cond_embed_dim: int = 768, micro_cond_encode_dim: int = 256, micro_cond_embed_dim: int = 1280, encoder_hidden_size: int = 768, vocab_size: int = 8256, codebook_size: int = 8192, in_channels: int = 768, block_out_channels: int = 768, num_res_blocks: int = 3, downsample: bool = False, upsample: bool = False, block_num_heads: int = 12, num_hidden_layers: int = 22, num_attention_heads: int = 16, attention_dropout: float = 0.0, intermediate_size: int = 2816, layer_norm_eps: float = 1e-06, ln_elementwise_affine: bool = True, sample_size: int = 64) | |
| ``` | |
| [المصدر](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/unets/uvit_2d.py#L38) | |
| #### forward[[diffusers.UVit2DModel.forward]] | |
| ```python | |
| forward(input_ids, encoder_hidden_states, pooled_text_emb, micro_conds, cross_attention_kwargs = None) | |
| ``` | |
| [المصدر](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/unets/uvit_2d.py#L150) | |
| **المعاملات:** | |
| input_ids (`torch.LongTensor`) : معرّفات الرموز (Token ids) لرموز الصورة الكامنة المقنّعة، بشكل `(batch_size, height, width)`. | |
| encoder_hidden_states (`torch.Tensor`) : التضمينات الشرطية (التضمينات المحسوبة من شروط الإدخال مثل الأوامر النصية) للاستخدام. | |
| pooled_text_emb (`torch.Tensor`) : تمثيلات نصية مجمّعة تُستخدم للتكييف الإضافي. | |
| micro_conds (`torch.Tensor`) : قيم التكييف الدقيقة التي تُضمَّن وتُدمج مع `pooled_text_emb`. | |
| cross_attention_kwargs (`dict`، *اختياري*) : قاموس kwargs يُمرَّر إلى `AttentionProcessor` إذا تم تحديده. | |
| **يعيد:** `torch.Tensor` | |
| قيم اللوجيت (logits) الخاصة بكتاب الرموز (codebook) لكل رمز صورة، وبشكل `(batch_size, codebook_size, height, width)`. | |
| #### set_default_attn_processor[[diffusers.UVit2DModel.set_default_attn_processor]] | |
| ```python | |
| set_default_attn_processor() | |
| ``` | |
| [المصدر](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/unets/uvit_2d.py#L232) | |
| يعطّل معالجات الانتباه المخصصة ويضبط تطبيق الانتباه الافتراضي. | |
| ## UVit2DConvEmbed[[diffusers.models.unets.uvit_2d.UVit2DConvEmbed]] | |
| #### diffusers.models.unets.uvit_2d.UVit2DConvEmbed[[diffusers.models.unets.uvit_2d.UVit2DConvEmbed]] | |
| ```python | |
| diffusers.models.unets.uvit_2d.UVit2DConvEmbed(in_channels, block_out_channels, vocab_size, elementwise_affine, eps, bias) | |
| ``` | |
| [المصدر](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/unets/uvit_2d.py#L248) | |
| ## UVitBlock[[diffusers.models.unets.uvit_2d.UVitBlock]] | |
| #### diffusers.models.unets.uvit_2d.UVitBlock[[diffusers.models.unets.uvit_2d.UVitBlock]] | |
| ```python | |
| diffusers.models.unets.uvit_2d.UVitBlock(channels, num_res_blocks: int, hidden_size, hidden_dropout, ln_elementwise_affine, layer_norm_eps, use_bias, block_num_heads, attention_dropout, downsample: bool, upsample: bool) | |
| ``` | |
| [المصدر](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/unets/uvit_2d.py#L263) | |
| ## ConvNextBlock[[diffusers.models.unets.uvit_2d.ConvNextBlock]] | |
| #### diffusers.models.unets.uvit_2d.ConvNextBlock[[diffusers.models.unets.uvit_2d.ConvNextBlock]] | |
| ```python | |
| diffusers.models.unets.uvit_2d.ConvNextBlock(channels, layer_norm_eps, ln_elementwise_affine, use_bias, hidden_dropout, hidden_size, res_ffn_factor = 4) | |
| ``` | |
| [المصدر](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/unets/uvit_2d.py#L362) | |
| ## ConvMlmLayer[[diffusers.models.unets.uvit_2d.ConvMlmLayer]] | |
| #### diffusers.models.unets.uvit_2d.ConvMlmLayer[[diffusers.models.unets.uvit_2d.ConvMlmLayer]] | |
| ```python | |
| diffusers.models.unets.uvit_2d.ConvMlmLayer(block_out_channels: int, in_channels: int, use_bias: bool, ln_elementwise_affine: bool, layer_norm_eps: float, codebook_size: int) | |
| ``` | |
| [المصدر](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/unets/uvit_2d.py#L407) | |
Xet Storage Details
- Size:
- 6.8 kB
- Xet hash:
- 53d2b3ffa2e7f94f46915517f7b20e6042c59e34f23efbcbd1263c80c6dbd956
·
Xet efficiently stores files, intelligently splitting them into unique chunks and accelerating uploads and downloads. More info.