Buckets:
| # | |
| # مرخّص بموجب ترخيص Apache الإصدار 2.0 (المسمى "الترخيص") | |
| # لا يجوز لك استخدام هذا الملف إلا وفقاً لشروط الترخيص. | |
| # يمكنك الحصول على نسخة من الترخيص في | |
| # | |
| # http://www.apache.org/licenses/LICENSE-2.0 | |
| # | |
| # ما لم يقتضِ ذلك القانون المعمول به أو ما اتُّفق عليه كتابياً، البرمجيات | |
| # تُوزَّع بموجب الرخصة على أساس "كما هي"، | |
| # بلا أي ضمانات أو شروط من أي نوع، سواء صريحة أو ضمنية. | |
| # راجع الترخيص لمعرفة اللغة المحددة التي تحكم الصلاحيات و | |
| # قيود بموجب الترخيص. --> | |
| # Wan-Animate-2 | |
| يُحرّك [Wan-Animate-2](https://github.com/Wan-Video/Wan2.2) من فريق Alibaba Wan صورة شخصية مرجعية بحركة فيديو مُوجِّه. يُعالَج الفيديو الموجِّه في مقاطع بطول ثابت: يُنفَّذ لكل مقطع مسار لاستخراج المرجع يخزّن مؤقتًا K/V للمقطع الموجِّه في كل طبقة من طبقات transformer، ثم يُزال الضوضاء مقابل ذلك التخزين المؤقت، ويُفكَّ الترميز داخل الحلقة لأن المقطع التالي يتوقف على إطارات الذيل المفككة الترميز من المقطع السابق. | |
| يتوفر إعدادان مسبقان: نقطة الفحص الأساسية تعيّن العينات باستخدام التوجيه الحر من التصنيف، بينما نقطة الفحص المُقطّرة تعيّن العينات في خطوات قليلة دون ذلك (حيث يُثبّت مُوجّهها عند `guidance_scale=1.0`). | |
| ```python | |
| import torch | |
| from diffusers import ModularPipeline | |
| from diffusers.utils import export_to_video, load_image, load_video | |
| pipe = ModularPipeline.from_pretrained("Wan-AI/Wan2.2-Animate-2-14B-Diffusers") | |
| pipe.load_components(dtype=torch.bfloat16) | |
| # The transformer weights and the per-segment reference KV cache do not co-reside on one 80 GB | |
| # card at the default resolution, so stream the transformer's blocks. Compiling the blocks is | |
| # required as the in-context attention runs on the flex backend | |
| pipe.transformer.enable_group_offload( | |
| onload_device=torch.device("cuda"), | |
| offload_device=torch.device("cpu"), | |
| offload_type="block_level", | |
| use_stream=True, | |
| ) | |
| pipe.text_encoder.to("cuda") # or "mps", "xpu", "cpu" | |
| pipe.image_encoder.to("cuda") | |
| pipe.vae.to("cuda") | |
| pipe.transformer.compile_repeated_blocks(fullgraph=False) | |
| # The first demo from the official repository: https://github.com/Wan-Video/Wan-Animate-2 | |
| demo = "https://raw.githubusercontent.com/Wan-Video/Wan-Animate-2/main/examples/demo1" | |
| image = load_image(f"{demo}/reference.png") | |
| driving_video, driving_video_fps = load_video(f"{demo}/template.mp4", return_fps=True) | |
| prompt = "人物外观描述：一只银灰色虎斑纹的小猫，拥有圆润的脸庞、竖立的耳朵和巨大的圆形眼睛。它身穿一套深蓝色的制服套装，包括一件带有金色纽扣的西装外套和一条百褶裙。外套里面搭配着白色衬衫，领口处系着一个红色的蝴蝶结，袖口露出白色的衬衫边缘。背景描述：背景为纯白色，光线均匀明亮，无其他杂物或装饰。" | |
| videos = pipe( | |
| image=image, | |
| driving_video=driving_video, | |
| driving_video_fps=driving_video_fps, | |
| prompt=prompt, | |
| output="videos", | |
| ) | |
| export_to_video(videos[0], "output.mp4", fps=24) | |
| ``` | |
| لنقطة التفتيش المُصغّرة، حمّل `Wan-AI/Wan2.2-Animate-2-14B-Distilled-Diffusers` بالطريقة نفسها — لا يتغير شيء آخر. تحمل كل إعداد مسبق قيم افتراضية خاصة به للعينات (40 خطوة لنقطة التفتيش الأساسية، و10 للمُصغّرة)، ولا يوجد أي حجة `guidance_scale` في أي مكان: فالإرشاد تملكه مكوّن المُوجّه في خط المعالجة (إرشاد بدون مُصنّف بقيمة 3.0 للإعداد المسبق الأساسي، ومعطّل للمُصغّر). | |
| `height` و`width` (القيم الافتراضية 800 و640) تحدد *المساحة* المستهدفة للفيديو المولّد؛ حيث يحافظ حجم الإطار الفعلي على نسبة أبعاد الصورة المرجعية، وتُضاف حواف سوداء (letterbox) إلى الإطارات الدافعة لتناسب هذا الحجم. المدخلات التي تكون بالفعل بحجم الإطار المستهدف مع الحواف تمر عبر المعالجة المسبقة دون أي تغيير، لذا يمكن إجراء المعالجة المسبقة بالكامل خارج خط الأنابيب. | |
| ## WanAnimate2ModularPipeline[[diffusers.WanAnimate2ModularPipeline]] | |
| #### diffusers.WanAnimate2ModularPipeline[[diffusers.WanAnimate2ModularPipeline]] | |
| ```python | |
| diffusers.WanAnimate2ModularPipeline(blocks: diffusers.modular_pipelines.modular_pipeline.ModularPipelineBlocks | None = None, pretrained_model_name_or_path: str | os.PathLike | None = None, components_manager: diffusers.modular_pipelines.components_manager.ComponentsManager | None = None, collection: str | None = None, workflow: str | None = None, modular_config_dict: dict[str, typing.Any] | None = None, config_dict: dict[str, typing.Any] | None = None, **kwargs) | |
| ``` | |
| [المصدر](https://github.com/huggingface/diffusers/blob/main/src/diffusers/modular_pipelines/wan_animate_2/modular_pipeline.py#L23) | |
| خط أنابيب ModularPipeline لتأثيرات الحركة الشخصية في Wan-Animate-2. | |
| ## WanAnimate2DistilledModularPipeline[[diffusers.WanAnimate2DistilledModularPipeline]] | |
| #### diffusers.WanAnimate2DistilledModularPipeline[[diffusers.WanAnimate2DistilledModularPipeline]] | |
| ```python | |
| diffusers.WanAnimate2DistilledModularPipeline(blocks: diffusers.modular_pipelines.modular_pipeline.ModularPipelineBlocks | None = None, pretrained_model_name_or_path: str | os.PathLike | None = None, components_manager: diffusers.modular_pipelines.components_manager.ComponentsManager | None = None, collection: str | None = None, workflow: str | None = None, modular_config_dict: dict[str, typing.Any] | None = None, config_dict: dict[str, typing.Any] | None = None, **kwargs) | |
| ``` | |
| [المصدر](https://github.com/huggingface/diffusers/blob/main/src/diffusers/modular_pipelines/wan_animate_2/modular_pipeline.py#L62) | |
| ModularPipeline لنموذج Wan-Animate-2 المُقطّر، والذي يُنتج عينات في خطوات قليلة دون استخدام التوجيه الحر من التصنيف. | |
| ## WanAnimate2Blocks[[diffusers.WanAnimate2Blocks]] | |
| #### diffusers.WanAnimate2Blocks[[diffusers.WanAnimate2Blocks]] | |
| ```python | |
| diffusers.WanAnimate2Blocks() | |
| ``` | |
| [المصدر](https://github.com/huggingface/diffusers/blob/main/src/diffusers/modular_pipelines/wan_animate_2/modular_blocks_wan_animate_2.py#L252) | |
| كتل خط أنابيب معيارية لتحريك الشخصيات في Wan-Animate-2: صورة شخصية مرجعية وفيديو تحفيزي ينتجان فيديو للشخصية وهي تتبع حركة الفيديو المحفّز. | |
| المكوّنات: text_encoder (`UMT5EncoderModel`) tokenizer (`AutoTokenizer`) image_processor (`WanAnimate2VideoProcessor`) image_encoder (`CLIPVisionModel`) video_processor (`WanAnimate2VideoProcessor`) vae (`AutoencoderKLWan`) transformer (`WanAnimate2Transformer3DModel`) scheduler (`SchedulerMixin`) guider (`ClassifierFreeGuidance`) | |
| المدخلات: prompt (`str`): الأمر أو الأوامر التي تُوجّه توليد الصورة. negative_prompt (`str`, *اختياري*): الأمر أو الأوامر التي لا تُوجّه توليد الصورة. prompt_ref (`str`, *اختياري*, الافتراضي هو 人物动作的参考视频): الأمر المرجعي لسياق الفيديو الموجه max_sequence_length (`int`, *اختياري*, الافتراضي هو 512): أقصى طول تسلسل لتشفير الأمر. image (`Image | list`): الصورة المرجعية التي تحتوي على الشخصية المراد تحريكها. height (`int`, *اختياري*, الافتراضي هو 800): مع `width`، يمثل *المساحة* المستهدفة للفيديو المولّد؛ يأتي نسبة الأبعاد من `image`. يُستبدل بارتفاع الإطار المُحدَّد. width (`int`, *اختياري*, الافتراضي هو 640): راجع `height`. يُستبدل بعرض الإطار المُحدَّد. driving_video (`list`): الفيديو الموجه الذي يوفر الحركة، بأي صيغة يقبلها `VideoProcessor.preprocess_video`. driving_video_fps (`float`, *اختياري*): معدل الإطارات الذي صُوِّر به `driving_video` — يُبلّغ عنه `load_video(..., return_fps=True)`. عند ضبطه، تُعاد عينة الإطارات الموجهة منه إلى `fps`؛ عند `None` تُستخدم كما هي. fps (`int`, *اختياري*, الافتراضي هو 24): معدل الإطارات الذي يولّد به النموذج segment_frame_length (`int`, *اختياري*, الافتراضي هو 81): عدد الإطارات في كل مقطع استنتاج prev_segment_conditioning_frames (`int`, *اختياري*, الافتراضي هو 1): عدد إطارات الشرط المنقولة من المقطع السابق generator (`Generator`, *اختياري*): مولّد Torch لتوليد حتمي. num_inference_steps (`int`, *اختياري*, الافتراضي هو 40): عدد خطوات إزالة الضوضاء. **denoiser_input_fields (`None`, *اختياري*): مدخلات النموذج الشرطية لمزيل الضوضاء: مثل prompt_embeds، negative_prompt_embeds، إلخ. output_type (`str`, *اختياري*, الافتراضي هو np): نوع المخرجات للفيديوهات المُفكَّكة | |
| المخرجات: مقاطع فيديو (`list`): مقاطع الفيديو المولّدة. | |
| ## WanAnimate2DistilledBlocks[[diffusers.WanAnimate2DistilledBlocks]] | |
| #### diffusers.WanAnimate2DistilledBlocks[[diffusers.WanAnimate2DistilledBlocks]] | |
| ```python | |
| diffusers.WanAnimate2DistilledBlocks() | |
| ``` | |
| [المصدر](https://github.com/huggingface/diffusers/blob/main/src/diffusers/modular_pipelines/wan_animate_2/modular_blocks_wan_animate_2_distilled.py#L254) | |
| كتل خط أنابيب معيارية لتحريك الشخصيات في Wan-Animate-2 المُصغَّر، مع أخذ عينات في خطوات قليلة دون توجيه حر من المُصنِّف. | |
| المكوّنات: text_encoder (`UMT5EncoderModel`) tokenizer (`AutoTokenizer`) image_processor (`WanAnimate2VideoProcessor`) image_encoder (`CLIPVisionModel`) video_processor (`WanAnimate2VideoProcessor`) vae (`AutoencoderKLWan`) transformer (`WanAnimate2Transformer3DModel`) scheduler (`SchedulerMixin`) guider (`ClassifierFreeGuidance`) | |
| المدخلات: prompt (`str`): الأمر أو الأوامر التي تُوجّه توليد الصورة. negative_prompt (`str`, *اختياري*): الأمر أو الأوامر التي لا تُوجّه توليد الصورة. prompt_ref (`str`, *اختياري*, الافتراضي هو 人物动作的参考视频): الأمر المرجعي لسياق الفيديو الموجه max_sequence_length (`int`, *اختياري*, الافتراضي هو 512): أقصى طول تسلسل لتشفير الأمر. image (`Image | list`): الصورة المرجعية التي تحتوي على الشخصية المراد تحريكها. height (`int`, *اختياري*, الافتراضي هو 800): مع `width`، يمثل *المساحة* المستهدفة للفيديو المولّد؛ يأتي نسبة الأبعاد من `image`. يُستبدل بارتفاع الإطار المُحدَّد. width (`int`, *اختياري*, الافتراضي هو 640): راجع `height`. يُستبدل بعرض الإطار المُحدَّد. driving_video (`list`): الفيديو الموجه الذي يوفر الحركة، بأي صيغة يقبلها `VideoProcessor.preprocess_video`. driving_video_fps (`float`, *اختياري*): معدل الإطارات الذي صُوِّر به `driving_video` — يُبلّغ عنه `load_video(..., return_fps=True)`. عند ضبطه، تُعاد عينة الإطارات الموجهة منه إلى `fps`؛ عند `None` تُستخدم كما هي. fps (`int`, *اختياري*, الافتراضي هو 24): معدل الإطارات الذي يولّد به النموذج segment_frame_length (`int`, *اختياري*, الافتراضي هو 81): عدد الإطارات في كل مقطع استنتاج prev_segment_conditioning_frames (`int`, *اختياري*, الافتراضي هو 1): عدد إطارات الشرط المنقولة من المقطع السابق generator (`Generator`, *اختياري*): مولّد Torch لتوليد حتمي. num_inference_steps (`int`, *اختياري*, الافتراضي هو 10): عدد خطوات إزالة الضوضاء. **denoiser_input_fields (`None`, *اختياري*): مدخلات النموذج الشرطية لمزيل الضوضاء: مثل prompt_embeds، negative_prompt_embeds، إلخ. output_type (`str`, *اختياري*, الافتراضي هو np): نوع المخرجات للفيديوهات المُفكَّكة | |
| المخرجات: مقاطع فيديو (`list`): مقاطع الفيديو المولّدة. | |
Xet Storage Details
- Size:
- 13.7 kB
- Xet hash:
- b718ac94f1de6c9d6b377f2a3665eb49bd89a10fb32a6822e093755e688ed52d
·
Xet efficiently stores files, intelligently splitting them into unique chunks and accelerating uploads and downloads. More info.