# Qwen2.5-Omni ## نظرة عامة نموذج [Qwen2.5-Omni](https://qwenlm.github.io/blog/qwen2.5-omni/) هو نموذج موحّد متعدد الوسائط، وقد اقترحه فريق Qwen التابع لمجموعة Alibaba في [التقرير التقني الخاص بـ Qwen2.5-Omni](https://huggingface.co/papers/2503.20215). المستخلص من التقرير التقني هو كالتالي: *نقدّم Qwen2.5-Omni، وهو نموذج متعدد الوسائط منطقي إلى منطقي مصمم لاستيعاب وسائط متنوعة، بما في ذلك النص والصور والصوت والفيديو، مع توليد استجابات نصية وكلامية طبيعية في آنٍ واحد بطريقة تدفقية. لتمكين تدفق مدخلات المعلومات متعددة الوسائط، يستخدم كل من مشفّرات الصوت والصورة نهج معالجة على مستوى الكتل. تفصل هذه الاستراتيجية بفعالية معالجة تسلسلات البيانات متعددة الوسائط الطويلة، حيث تُسند مسؤوليات الإدراك إلى المشفّر متعدد الوسائط، ويُعهد بنمذجة التسلسلات الممتدة إلى نموذج لغة كبير. يعزز هذا التقسيم للعمل دمج الوسائط المختلفة عبر آلية الانتباه المشتركة. لمزامنة طوابع الوقت لمدخلات الفيديو مع الصوت، رتّبنا الصوت والفيديو تسلسليًا بطريقة متداخلة، واقترحنا نهجًا جديدًا لتضمين المواقع يُسمى TMRoPE (Time-aligned Multimodal RoPE). ولتوليد النص والكلام في وقت واحد مع تجنب التداخل بين الوسائط، نقترح بنية Thinker-Talker. في هذا الإطار، يعمل Thinker كنموذج لغة كبير مكلف بتوليد النص، بينما Talker هو نموذج ذاتي التراجع مزدوج المسار يستخدم مباشرة التمثيلات الخفية من Thinker لإنتاج رموز الصوت كإخراج. صُمم كلا النموذجين Thinker و Talker ليتم تدريبهما والاستدلال عليهما بطريقة منطقي إلى منطقي. لفك ترميز رموز الصوت بطريقة تدفقية، نقدم DiT بنافذة منزلقة يقيّد مجال الاستقبال، بهدف تقليل تأخير الحزمة الأولية. يتفوق Qwen2.5-Omni على Qwen2-VL و Qwen2-Audio المماثلين في الحجم من حيث قدرات الصور والصوت. علاوة على ذلك، يحقق Qwen2.5-Omni أداءً رائدًا في معايير متعددة الوسائط مثل Omni-Bench. ومن الجدير بالذكر أن Qwen2.5-Omni هو أول نموذج مفتوح المصدر يحقق مستوى أداء في اتباع التعليمات الكلامية منطقيًا إلى منطقيًا يقارب قدراته مع مدخلات النص، كما يتضح من معايير مثل MMLU و GSM8K. أما فيما يتعلق بتوليد الكلام، فإن Talker التدفقي في Qwen2.5-Omni يتفوق على معظم البدائل الحالية التدفقية وغير التدفقية من حيث المتانة والطبيعية.* > [!TIP] > اضبط `use_kernels=True` في [from_pretrained()](/docs/transformers/main/ar/main_classes/model#transformers.PreTrainedModel.from_pretrained) لاستبدال الطبقات المدعومة بنوى مُحسَّنة من Hub. راجع [تحميل النوى](../kernel_doc/loading_kernels) لمعرفة المزيد. ## ملاحظات - استخدم [Qwen2_5OmniForConditionalGeneration](/docs/transformers/main/ar/model_doc/qwen2_5_omni#transformers.Qwen2_5OmniForConditionalGeneration) لتوليد مخرجات صوتية ونصية. ولتوليد نوع واحد فقط من المخرجات، استخدم [Qwen2_5OmniThinkerForConditionalGeneration](/docs/transformers/main/ar/model_doc/qwen2_5_omni#transformers.Qwen2_5OmniThinkerForConditionalGeneration) للمخرجات النصية فقط، و`Qwen2_5OmniTalkersForConditionalGeneration` للمخرجات الصوتية فقط. - في حال ظهور أخطاء نفاد الذاكرة عند العمل مع مدخلات الفيديو، قم بتقليل `processor.max_pixels`. افتراضيًا، يتم تعيين الحد الأقصى إلى قيمة كبيرة جدًا، ولن يتم تغيير حجم المرئيات عالية الدقة ما لم تتجاوز الدقة `processor.max_pixels`. - يتميز المعالج بطريقته الخاصة [apply_chat_template()](/docs/transformers/main/ar/main_classes/processors#transformers.ProcessorMixin.apply_chat_template) لتحويل رسائل الدردشة إلى مدخلات النموذج. ## مثال على الاستخدام يمكن العثور على `Qwen2.5-Omni` على [Huggingface Hub](https://huggingface.co/Qwen). ### استدلال وسائط مفردة يمكن للنموذج قبول النص والصور والصوت والفيديو كمدخلات. فيما يلي مثال على الكود للاستدلال. ```python import soundfile as sf from transformers import Qwen2_5OmniForConditionalGeneration, Qwen2_5OmniProcessor model = Qwen2_5OmniForConditionalGeneration.from_pretrained( "Qwen/Qwen2.5-Omni-7B", device_map="auto", ) processor = Qwen2_5OmniProcessor.from_pretrained("Qwen/Qwen2.5-Omni-7B") conversations = [ { "role": "system", "content": [ {"type": "text", "text": "You are Qwen, a virtual human developed by the Qwen Team, Alibaba Group, capable of perceiving auditory and visual inputs, as well as generating text and speech."} ], }, { "role": "user", "content": [ {"type": "video", "video": "/path/to/video.mp4"}, {"type": "text", "text": "What can't you hear and see in this video?"}, ], }, ] inputs = processor.apply_chat_template( conversations, load_audio_from_video=True, add_generation_prompt=True, tokenize=True, return_dict=True, return_tensors="pt", fps=1, # kwargs to be passed to `Qwen2-5-OmniProcessor` padding=True, use_audio_in_video=True, ).to(model.device) # Generation params for audio or text can be different and have to be prefixed with `thinker_` or `talker_` text_ids, audio = model.generate(**inputs, use_audio_in_video=True, thinker_do_sample=False, talker_do_sample=True) text = processor.batch_decode(text_ids, skip_special_tokens=True, clean_up_tokenization_spaces=False) sf.write( "output.wav", audio.reshape(-1).detach().cpu().numpy(), samplerate=24000, ) print(text) ``` ### توليد نص فقط لتوليد مخرجات نصية فقط وتوفير الحسابات من خلال عدم تحميل نموذج توليد الصوت، يمكننا استخدام نموذج `Qwen2_5OmniThinkerForConditionalGeneration`. ```python from transformers import Qwen2_5OmniProcessor, Qwen2_5OmniThinkerForConditionalGeneration model = Qwen2_5OmniThinkerForConditionalGeneration.from_pretrained( "Qwen/Qwen2.5-Omni-7B", device_map="auto", ) processor = Qwen2_5OmniProcessor.from_pretrained("Qwen/Qwen2.5-Omni-7B") conversations = [ { "role": "system", "content": [ {"type": "text", "text": "You are Qwen, a virtual human developed by the Qwen Team, Alibaba Group, capable of perceiving auditory and visual inputs, as well as generating text and speech."} ], }, { "role": "user", "content": [ {"type": "video", "video": "/path/to/video.mp4"}, {"type": "text", "text": "What can't you hear and see in this video?"}, ], }, ] inputs = processor.apply_chat_template( conversations, load_audio_from_video=True, add_generation_prompt=True, tokenize=True, return_dict=True, return_tensors="pt", fps=1, # kwargs to be passed to `Qwen2-5-OmniProcessor` padding=True, use_audio_in_video=True, ).to(model.device) text_ids = model.generate(**inputs, use_audio_in_video=True) text = processor.batch_decode(text_ids, skip_special_tokens=True, clean_up_tokenization_spaces=False) print(text) ``` ### الاستدلال على وسائط مختلطة على دفعات يمكن للنموذج معالجة مدخلات مجمّعة تتكوّن من عينات مختلطة من أنواع مختلفة مثل النص والصور والصوت والفيديو عند استخدام نموذج `Qwen2_5OmniThinkerForConditionalGeneration`. إليك مثالاً. ```python from transformers import Qwen2_5OmniForConditionalGeneration, Qwen2_5OmniProcessor model = Qwen2_5OmniForConditionalGeneration.from_pretrained( "Qwen/Qwen2.5-Omni-7B", device_map="auto" ) processor = Qwen2_5OmniProcessor.from_pretrained("Qwen/Qwen2.5-Omni-7B") # Conversation with video only conversation1 = [ { "role": "system", "content": [ {"type": "text", "text": "You are Qwen, a virtual human developed by the Qwen Team, Alibaba Group, capable of perceiving auditory and visual inputs, as well as generating text and speech."} ], }, { "role": "user", "content": [ {"type": "video", "path": "/path/to/video.mp4"}, ] } ] # Conversation with audio only conversation2 = [ { "role": "system", "content": [ {"type": "text", "text": "You are Qwen, a virtual human developed by the Qwen Team, Alibaba Group, capable of perceiving auditory and visual inputs, as well as generating text and speech."} ], }, { "role": "user", "content": [ {"type": "audio", "path": "/path/to/audio.wav"}, ] } ] # Conversation with pure text conversation3 = [ { "role": "system", "content": [ {"type": "text", "text": "You are Qwen, a virtual human developed by the Qwen Team, Alibaba Group, capable of perceiving auditory and visual inputs, as well as generating text and speech."} ], }, { "role": "user", "content": [{"type": "text", "text": "who are you?"}], } ] # Conversation with mixed media conversation4 = [ { "role": "system", "content": [ {"type": "text", "text": "You are Qwen, a virtual human developed by the Qwen Team, Alibaba Group, capable of perceiving auditory and visual inputs, as well as generating text and speech."} ], }, { "role": "user", "content": [ {"type": "image", "path": "/path/to/image.jpg"}, {"type": "video", "path": "/path/to/video.mp4"}, {"type": "audio", "path": "/path/to/audio.wav"}, {"type": "text", "text": "What are the elements can you see and hear in these media?"}, ], } ] conversations = [conversation1, conversation2, conversation3, conversation4] inputs = processor.apply_chat_template( conversations, load_audio_from_video=True, add_generation_prompt=True, tokenize=True, return_dict=True, return_tensors="pt", fps=1, # kwargs to be passed to `Qwen2-5-OmniProcessor` padding=True, use_audio_in_video=True, ).to(model.thinker.device) text_ids = model.generate(**inputs, use_audio_in_video=True) text = processor.batch_decode(text_ids, skip_special_tokens=True, clean_up_tokenization_spaces=False) print(text) ``` ### توليد الصوت على دفعات يدعم [Qwen2_5OmniForConditionalGeneration](/docs/transformers/main/ar/model_doc/qwen2_5_omni#transformers.Qwen2_5OmniForConditionalGeneration) توليد مخرجات صوتية على شكل دفعات. على سبيل المثال، التوليد الدفقي من النص إلى الكلام أدناه. عند استخدام دفعة تحتوي على أكثر من عينة واحدة، يُعاد الصوت المولّد كقائمة تضمّ موجةً واحدة لكل عينة، وقد تمّ اقتطاع كل موجة مسبقًا إلى طولها الخاص، بحيث لا تُملأ العينات الأقصر بصوت زائف. أما استدعاء عينة واحدة فيُعيد متجهًا واحدًا. ```python import soundfile as sf from transformers import AutoModelForTextToWaveform, AutoProcessor import torch model_id = "Qwen/Qwen2.5-Omni-7B" model = AutoModelForTextToWaveform.from_pretrained(model_id, device_map="auto") processor = AutoProcessor.from_pretrained(model_id) sampling_rate = 24000 # output sampling rate max_new_tokens = 200 # maximum number of tokens to generate system_text = ( "You are Qwen, a virtual human developed by the Qwen Team, Alibaba Group, capable of " "perceiving auditory and visual inputs, as well as generating text and speech." ) texts = [ "Hello, I'm Qwen. How can I help you today?", "The weather is nice today. Let's go for a walk.", ] inputs = processor.apply_chat_template( [ [ {"role": "system", "content": [{"type": "text", "text": system_text}]}, { "role": "user", "content": [ { "type": "text", "text": ( "Please read the following text aloud exactly as written, with no " f"additional commentary:\n\n{text}" ), } ], }, ] for text in texts ], tokenize=True, add_generation_prompt=True, return_dict=True, return_tensors="pt", processor_kwargs={"padding": True}, ).to(model.device, dtype=model.dtype) gen_kwargs = { "talker_do_sample": True, "speaker": "Ethan", # Ethan, Chelsie "talker_max_new_tokens": max_new_tokens, } _, pred_waveform = model.generate(**inputs, **gen_kwargs) for sample_id, audio in enumerate(pred_waveform): sf.write( f"qwen2_5_omni_output_{sample_id}.wav", audio.detach().to(torch.float32).cpu().numpy(), sampling_rate, ) print(f"Saved audio to qwen2_5_omni_output_{sample_id}.wav") ``` ### نصائح للاستخدام #### مقايضة دقة الصورة يدعم النموذج مجموعة واسعة من مدخلات الدقة. افتراضياً، يستخدم الدقة الأصلية للمدخل، لكن الدقات الأعلى يمكن أن تعزز الأداء على حساب زيادة الحسابات. يمكن للمستخدمين تحديد الحد الأدنى والحد الأقصى لعدد البكسلات لتحقيق التهيئة المثالية لاحتياجاتهم. ```python min_pixels = 128*28*28 max_pixels = 768*28*28 processor = AutoProcessor.from_pretrained("Qwen/Qwen2.5-Omni-7B", min_pixels=min_pixels, max_pixels=max_pixels) ``` #### موجّه لإخراج الصوت إذا احتاج المستخدمون إلى مخرجات صوتية، فيجب ضبط موجه النظام على النحو التالي: «أنت Qwen، إنسان افتراضي طورته فريق Qwen في مجموعة Alibaba، قادر على إدراك المدخلات السمعية والبصرية، فضلاً عن توليد النص والكلام»، وإلا فقد لا تعمل المخرجات الصوتية كما هو متوقع. ```python { "role": "system", "content": "You are Qwen, a virtual human developed by the Qwen Team, Alibaba Group, capable of perceiving auditory and visual inputs, as well as generating text and speech.", } ``` #### استخدام مخرج الصوت أو عدم استخدامه يدعم النموذج كلًا من مخرجات النص والصوت، وإذا لم يكن المستخدمون بحاجة إلى مخرجات صوتية، فيمكنهم تعيين `enable_audio_output` في دالة `from_pretrained`. سيوفر هذا الخيار حوالي `~2GB` من ذاكرة وحدة معالجة الرسوميات (GPU)، لكن خيار `return_audio` الخاص بدالة `generate` سيُسمح بتعيينه فقط على `False`. ```python model = Qwen2_5OmniForConditionalGeneration.from_pretrained( "Qwen/Qwen2.5-Omni-7B", device_map="auto", enable_audio_output=False, ) ``` للحصول على تجربة مرنة، ننصح المستخدمين بإعداد `enable_audio_output` على `True` عند تهيئة النموذج عبر دالة `from_pretrained`، ثم تحديد ما إذا كان سيتم إرجاع الصوت عند استدعاء دالة `generate`. عند ضبط `return_audio` على `False`، سيعيد النموذج مخرجات نصية فقط للحصول على ردود نصية بشكل أسرع. ```python model = Qwen2_5OmniForConditionalGeneration.from_pretrained( "Qwen/Qwen2.5-Omni-7B", device_map="auto", enable_audio_output=True, ) ... text_ids = model.generate(**inputs, return_audio=False) ``` #### تغيير نوع صوت الصوت الناتج يدعم Qwen2.5-Omni إمكانية تغيير صوت الصوت المُخرَج. يمكن للمستخدمين استخدام معامل `speaker` في دالة `generate` لتحديد نوع الصوت. يدعم نقطة التفتيش `"Qwen/Qwen2.5-Omni-7B"` نوعين من الأصوات: `Chelsie` و`Ethan`، حيث أن `Chelsie` صوت أنثوي و`Ethan` صوت ذكوري. افتراضيًا، إذا لم يتم تحديد `speaker`، فإن نوع الصوت الافتراضي هو `Chelsie`. ```python text_ids, audio = model.generate(**inputs, speaker="Chelsie") ``` ```python text_ids, audio = model.generate(**inputs, speaker="Ethan") ``` #### Flash-Attention 2 لتسريع عملية التوليد أولاً، تأكد من تثبيت أحدث إصدار من Flash Attention 2: ```bash pip install -U flash-attn --no-build-isolation ``` كما يجب أن يكون لديك عتاد متوافق مع FlashAttention 2. اقرأ المزيد حول ذلك في التوثيق الرسمي لـ [مستودع flash attention](https://github.com/Dao-AILab/flash-attention). لا يمكن استخدام FlashAttention-2 إلا عند تحميل النموذج في `torch.float16` أو `torch.bfloat16`. لتحميل نموذج وتشغيله باستخدام FlashAttention-2، أضف `attn_implementation="flash_attention_2"` عند تحميل النموذج: ```python from transformers import Qwen2_5OmniForConditionalGeneration model = Qwen2_5OmniForConditionalGeneration.from_pretrained( "Qwen/Qwen2.5-Omni-7B", device_map="auto", attn_implementation="flash_attention_2", ) ``` ## Qwen2_5OmniConfig[[transformers.Qwen2_5OmniConfig]] #### transformers.Qwen2_5OmniConfig[[transformers.Qwen2_5OmniConfig]] ```python transformers.Qwen2_5OmniConfig(transformers_version: str | None = None, architectures: list[str] | None = None, output_hidden_states: bool | None = False, return_dict: bool | None = True, dtype: str | torch.dtype | None = None, chunk_size_feed_forward: int = 0, is_encoder_decoder: bool = False, id2label: dict[int, str] | dict[str, str] | None = None, label2id: dict[str, int] | dict[str, str] | None = None, problem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = None, thinker_config: dict | transformers.configuration_utils.PreTrainedConfig | None = None, talker_config: dict | transformers.configuration_utils.PreTrainedConfig | None = None, token2wav_config: dict | transformers.configuration_utils.PreTrainedConfig | None = None, enable_audio_output: bool = True) ``` [المصدر](https://github.com/huggingface/transformers/blob/main/src/transformers/models/qwen2_5_omni/configuration_qwen2_5_omni.py#L533) **المعاملات:** thinker_config (`dict`، *اختياري*) : إعدادات نموذج thinker الفرعي الأساسي. talker_config (`dict`، *اختياري*) : إعدادات نموذج المحادثة الفرعي الأساسي. token2wav_config (`dict`، *اختياري*) : إعدادات نموذج الترميز الفرعي الأساسي. enable_audio_output (`bool`، *اختياري*، الافتراضي `True`) : ما إذا كان سيتم تفعيل مخرج الصوت وتحميل وحدة talker ووحدة token2wav. هذه فئة الإعدادات المخزنة لإعدادات نموذج Qwen2 5 OmniModel. تُستخدم لاستحداث نموذج Qwen2 5 Omni وفقًا للحجج المحددة، مع تعريف بنية النموذج. إن استحداث إعدادات باستخدام القيم الافتراضية سيؤدي إلى إعدادات مشابهة لتلك الخاصة بـ [Qwen/Qwen2.5-Omni-7B](https://huggingface.co/Qwen/Qwen2.5-Omni-7B) ترث كائنات الإعداد من [PreTrainedConfig](/docs/transformers/main/ar/main_classes/configuration#transformers.PreTrainedConfig) ويمكن استخدامها للتحكم في مخرجات النموذج. اقرأ التوثيق الخاص بـ [PreTrainedConfig](/docs/transformers/main/ar/main_classes/configuration#transformers.PreTrainedConfig) لمزيد من المعلومات. مثال: ```python >>> from transformers import ( ... Qwen2_5OmniThinkerConfig, ... Qwen2_5OmniTalkerConfig, ... Qwen2_5OmniToken2WavConfig, ... Qwen2_5OmniForConditionalGeneration, ... Qwen2_5OmniConfig, ... ) >>> # Initializing sub-modules configurations. >>> thinker_config = Qwen2_5OmniThinkerConfig() >>> talker_config = Qwen2_5OmniTalkerConfig() >>> token2wav_config = Qwen2_5OmniToken2WavConfig() >>> # Initializing a module style configuration >>> configuration = Qwen2_5OmniConfig( ... thinker_config, talker_config, token2wav_config ... ) >>> # Initializing a model (with random weights) >>> model = Qwen2_5OmniForConditionalGeneration(configuration) >>> # Accessing the model configuration >>> configuration = model.config ``` #### get_text_config[[transformers.Qwen2_5OmniConfig.get_text_config]] ```python get_text_config(*args, **kwargs) ``` [المصدر](https://github.com/huggingface/transformers/blob/main/src/transformers/models/qwen2_5_omni/configuration_qwen2_5_omni.py#L586) **المعاملات:** decoder (`Optional[bool]`، *اختياري*، القيمة الافتراضية `False`) : إذا تم ضبطه على `True`، فسيتم البحث عن أسماء تكوينات المُفكِّك (decoder) فقط. يعيد الإعداد المخصص للاستخدام مع إدخال وإخراج النص. في معظم النماذج، هو نفسه كائن الإعداد الأصلي. في نماذج مركبة محددة، يكون تحت مجموعة من الأسماء الصالحة. ## Qwen2_5OmniVisionEncoderConfig[[transformers.Qwen2_5OmniVisionEncoderConfig]] #### transformers.Qwen2_5OmniVisionEncoderConfig[[transformers.Qwen2_5OmniVisionEncoderConfig]] ```python transformers.Qwen2_5OmniVisionEncoderConfig(transformers_version: str | None = None, architectures: list[str] | None = None, output_hidden_states: bool | None = False, return_dict: bool | None = True, dtype: str | torch.dtype | None = None, chunk_size_feed_forward: int = 0, is_encoder_decoder: bool = False, id2label: dict[int, str] | dict[str, str] | None = None, label2id: dict[str, int] | dict[str, str] | None = None, problem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = None, depth: int = 32, hidden_size: int = 3584, hidden_act: str = 'silu', intermediate_size: int = 3420, num_heads: int = 16, in_channels: int = 3, patch_size: int | list[int] | tuple[int, int] = 14, spatial_merge_size: int = 2, temporal_patch_size: int | list[int] | tuple[int, int] = 2, window_size: int = 112, out_hidden_size: int = 3584, fullatt_block_indexes: list[int] | tuple[int, ...] = (7, 15, 23, 31), initializer_range: float = 0.02, rope_parameters: dict | None = None) ``` [المصدر](https://github.com/huggingface/transformers/blob/main/src/transformers/models/qwen2_5_omni/configuration_qwen2_5_omni.py#L30) **المعاملات:** depth (`int`، *اختياري*، القيمة الافتراضية `32`) : عدد طبقات Transformer في مُشفِّر الرؤية. hidden_size (`int`، *اختياري*، القيمة الافتراضية `3584`) : بُعد التمثيلات المخفية. hidden_act (`str`، *اختياري*، القيمة الافتراضية `silu`) : دالة التنشيط غير الخطية (دالة أو نص) في المُفكِّك. على سبيل المثال، `"gelu"`، `"relu"`، `"silu"`، وما إلى ذلك. intermediate_size (`int`، *اختياري*، القيمة الافتراضية `3420`) : بُعد تمثيلات MLP. num_heads (`int`، *اختياري*، القيمة الافتراضية `16`) : عدد رؤوس الانتباه في كل طبقة انتباه داخل مُفكِّك Transformer. in_channels (`int`، *اختياري*، القيمة الافتراضية `3`) : عدد قنوات الإدخال. patch_size (`Union[int, list[int], tuple[int, int]]`، *اختياري*، القيمة الافتراضية `14`) : حجم (دقة) كل رقعة. spatial_merge_size (`int`، *اختياري*، القيمة الافتراضية `2`) : حجم نافذة الدمج المكاني المستخدمة لتقليل عدد الرموز البصرية عن طريق دمج الباتشات المجاورة. temporal_patch_size (`Union[int, list[int], tuple[int, int]]`، *اختياري*، القيمة الافتراضية `2`) : حجم البقعة الزمنية المستخدم في تضمين البقع ثلاثي الأبعاد للمدخلات المرئية. window_size (`int`، *اختياري*، القيمة الافتراضية 11) : حجم النوافذ. out_hidden_size (`int`، *اختياري*، القيمة الافتراضية 3584) : حجم المخفي للإخراج في نموذج الرؤية. fullatt_block_indexes (`int`، *اختياري*، القيمة الافتراضية `[7, 15, 23, 31]`) : فهارس الطبقات ذات الانتباه الكامل initializer_range (`float`، *اختياري*، القيمة الافتراضية `0.02`) : الانحراف المعياري لـ truncated_normal_initializer المستخدم في تهيئة جميع مصفوفات الأوزان. rope_parameters (`dict`, *اختياري*) : قاموس يحتوي على معاملات التهيئة لتضمينات RoPE. يجب أن يحتوي القاموس على قيمة لـ `rope_theta`، ومعاملات اختيارية تُستخدم للتصعيد في حال رغبتك في استخدام RoPE مع `max_position_embeddings` أطول. هذه فئة الإعدادات المخزنة لإعدادات نموذج Qwen2 5 OmniModel. تُستخدم لاستحداث نموذج Qwen2 5 Omni وفقًا للحجج المحددة، مع تعريف بنية النموذج. إن استحداث إعدادات باستخدام القيم الافتراضية سيؤدي إلى إعدادات مشابهة لتلك الخاصة بـ [Qwen/Qwen2.5-Omni-7B](https://huggingface.co/Qwen/Qwen2.5-Omni-7B) ترث كائنات الإعداد من [PreTrainedConfig](/docs/transformers/main/ar/main_classes/configuration#transformers.PreTrainedConfig) ويمكن استخدامها للتحكم في مخرجات النموذج. اقرأ التوثيق الخاص بـ [PreTrainedConfig](/docs/transformers/main/ar/main_classes/configuration#transformers.PreTrainedConfig) لمزيد من المعلومات. مثال: ```python >>> from transformers import Qwen2_5OmniVisionEncoderConfig, Qwen2_5OmniVisionEncoder >>> # Initializing a Qwen2_5OmniVisionEncoderConfig >>> configuration = Qwen2_5OmniVisionEncoderConfig() >>> # Initializing a Qwen2_5OmniVisionEncoder (with random weights) >>> model = Qwen2_5OmniVisionEncoder(configuration) >>> # Accessing the model configuration >>> configuration = model.config ``` ## Qwen2_5OmniTextConfig[[transformers.Qwen2_5OmniTextConfig]] #### transformers.Qwen2_5OmniTextConfig[[transformers.Qwen2_5OmniTextConfig]] ```python transformers.Qwen2_5OmniTextConfig(transformers_version: str | None = None, architectures: list[str] | None = None, output_hidden_states: bool | None = False, return_dict: bool | None = True, dtype: str | torch.dtype | None = None, chunk_size_feed_forward: int = 0, is_encoder_decoder: bool = False, id2label: dict[int, str] | dict[str, str] | None = None, label2id: dict[str, int] | dict[str, str] | None = None, problem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = None, vocab_size: int = 152064, hidden_size: int = 3584, intermediate_size: int = 18944, num_hidden_layers: int = 28, num_attention_heads: int = 28, num_key_value_heads: int | None = 4, hidden_act: str = 'silu', max_position_embeddings: int = 32768, initializer_range: float = 0.02, rms_norm_eps: float = 1e-06, use_cache: bool = True, rope_parameters: transformers.modeling_rope_utils.RopeParameters | dict | None = None, use_sliding_window: bool = False, sliding_window: int | None = 32768, max_window_layers: int = 28, layer_types: list[str] | None = None, attention_dropout: float | int = 0.0, pad_token_id: int | None = None, bos_token_id: int | None = None, eos_token_id: int | list[int] | None = None, tie_word_embeddings: bool = True) ``` [المصدر](https://github.com/huggingface/transformers/blob/main/src/transformers/models/qwen2_5_omni/configuration_qwen2_5_omni.py#L128) **المعاملات:** vocab_size (`int`، *اختياري*، القيمة الافتراضية `152064`) : حجم مفردات النموذج. يحدد عدد الرموز المختلفة التي يمكن تمثيلها بواسطة `input_ids`. hidden_size (`int`، *اختياري*، القيمة الافتراضية `3584`) : بُعد التمثيلات المخفية. intermediate_size (`int`، *اختياري*، القيمة الافتراضية `18944`) : بُعد تمثيلات MLP. num_hidden_layers (`int`، *اختياري*، القيمة الافتراضية `28`) : عدد الطبقات المخفية في مُفكِّك Transformer. num_attention_heads (`int`، *اختياري*، القيمة الافتراضية `28`) : عدد رؤوس الانتباه لكل طبقة انتباه في مُفكِّك Transformer. num_key_value_heads (`int`، *اختياري*، القيمة الافتراضية `4`) : هذا هو عدد رؤوس key_value التي يجب استخدامها لتنفيذ Grouped Query Attention. إذا كان `num_key_value_heads=num_attention_heads`، فسيستخدم النموذج Multi Head Attention (MHA)، وإذا كان `num_key_value_heads=1` فسيستخدم النموذج Multi Query Attention (MQA)، وإلا فسيتم استخدام GQA. عند تحويل نقطة تحقق متعددة الرؤوس إلى نقطة تحقق GQA، يجب بناء كل مجموعة من رؤوس key و value عن طريق meanpooling جميع الرؤوس الأصلية داخل تلك المجموعة. لمزيد من التفاصيل، راجع [هذا الورق](https://huggingface.co/papers/2305.13245). إذا لم يتم تحديد القيمة، فستكون القيمة الافتراضية هي `num_attention_heads`. hidden_act (`str`، *اختياري*، القيمة الافتراضية `silu`) : دالة التنشيط غير الخطية (دالة أو نص) في المُفكِّك. على سبيل المثال، `"gelu"`، `"relu"`، `"silu"`، وما إلى ذلك. max_position_embeddings (`int`، *اختياري*، الافتراضي هو `32768`) : أقصى طول تسلسل قد يُستخدم به هذا النموذج. initializer_range (`float`، *اختياري*، القيمة الافتراضية `0.02`) : الانحراف المعياري لـ truncated_normal_initializer المستخدم في تهيئة جميع مصفوفات الأوزان. rms_norm_eps (`float`، *اختياري*، القيمة الافتراضية `1e-06`) : قيمة الإيبسلون المستخدمة في طبقات تطبيع rms. use_cache (`bool`، *اختياري*، القيمة الافتراضية `True`) : ما إذا كان يجب على النموذج إرجاع قيم المفاتيح/القيم الأخيرة للانتباه (لا تستخدمها جميع النماذج). لا ينطبق إلا إذا كان `config.is_decoder=True` أو عندما يكون النموذج نموذجًا توليديًا يعتمد على المُفكِّك فقط. rope_parameters (`Union[~modeling_rope_utils.RopeParameters, dict]`، *اختياري*) : قاموس يحتوي على معاملات التهيئة الخاصة بتضمينات RoPE. يجب أن يحتوي القاموس على قيمة لـ `rope_theta`، وبشكل اختياري معاملات تُستخدم للتوسيع في حال رغبتَ في استخدام RoPE مع `max_position_embeddings` أطول. use_sliding_window (`bool`، *اختياري*، الافتراضي `False`) : ما إذا كان سيتم استخدام الانتباه بنافذة منزلقة. sliding_window (`int`، *اختياري*، القيمة الافتراضية `32768`) : حجم نافذة الانتباه ذات النافذة المنزلقة. إذا كانت `None`، فلا تُطبَّق نافذة منزلقة. max_window_layers (`int`، *اختياري*، القيمة الافتراضية `28`) : عدد الطبقات التي تستخدم الانتباه الكامل. ستستخدم أول `max_window_layers` طبقات الانتباه الكامل، بينما ستستخدم أي طبقة إضافية بعد ذلك الانتباه النافذي المنزلق (SWA). layer_types (`list[str]`، *اختياري*) : قائمة تُقرن صراحةً كل فهرس طبقة بنوعها. إذا لم تُقدَّم، فسيتم توليدها تلقائيًا بناءً على قيم الإعداد. attention_dropout (`Union[float, int]`، *اختياري*، القيمة الافتراضية `0.0`) : نسبة الإسقاط (dropout) لاحتمالات الانتباه. pad_token_id (`int`, *اختياري*) : معرّف الرمز (Token id) المستخدم للتعبئة (padding) في المفردات. bos_token_id (`int`, *اختياري*) : معرّف الرمز المستخدم لبدء البث في المفردات. eos_token_id (`Union[int, list[int]]`، *اختياري*) : معرّف الرمز المستخدم لنهاية البث في المفردات. tie_word_embeddings (`bool`، *اختياري*، القيمة الافتراضية `True`) : ما إذا كان يجب ربط ترميزات الأوزان وفقاً لخريطة `tied_weights_keys` الخاصة بالنموذج. هذه فئة الإعدادات المخزنة لإعدادات نموذج Qwen2 5 OmniModel. تُستخدم لاستحداث نموذج Qwen2 5 Omni وفقًا للحجج المحددة، مع تعريف بنية النموذج. إن استحداث إعدادات باستخدام القيم الافتراضية سيؤدي إلى إعدادات مشابهة لتلك الخاصة بـ [Qwen/Qwen2.5-Omni-7B](https://huggingface.co/Qwen/Qwen2.5-Omni-7B) ترث كائنات الإعداد من [PreTrainedConfig](/docs/transformers/main/ar/main_classes/configuration#transformers.PreTrainedConfig) ويمكن استخدامها للتحكم في مخرجات النموذج. اقرأ التوثيق الخاص بـ [PreTrainedConfig](/docs/transformers/main/ar/main_classes/configuration#transformers.PreTrainedConfig) لمزيد من المعلومات. مثال: ```python >>> from transformers import Qwen2_5OmniThinkerForConditionalGeneration, Qwen2_5OmniThinkerConfig, Qwen2_5OmniAudioEncoderConfig, Qwen2_5OmniVisionEncoderConfig >>> # Initializing a Qwen2_5OmniAudioEncoder config >>> audio_config = Qwen2_5OmniAudioEncoderConfig() >>> # Initializing a Qwen2_5OmniVisionEncoder config >>> vision_config = Qwen2_5OmniVisionEncoderConfig() >>> # Initializing a Qwen2.5OmniThinker configuration >>> configuration = Qwen2_5OmniThinkerConfig(audio_config, vision_config) >>> # Initializing a model from the Qwen-Omni style configuration >>> model = Qwen2_5OmniThinkerForConditionalGeneration(configuration) >>> # Accessing the model configuration >>> configuration = model.config ``` ## Qwen2_5OmniDiTConfig[[transformers.Qwen2_5OmniDiTConfig]] #### transformers.Qwen2_5OmniDiTConfig[[transformers.Qwen2_5OmniDiTConfig]] ```python transformers.Qwen2_5OmniDiTConfig(transformers_version: str | None = None, architectures: list[str] | None = None, output_hidden_states: bool | None = False, return_dict: bool | None = True, dtype: str | torch.dtype | None = None, chunk_size_feed_forward: int = 0, is_encoder_decoder: bool = False, id2label: dict[int, str] | dict[str, str] | None = None, label2id: dict[str, int] | dict[str, str] | None = None, problem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = None, hidden_size: int = 1024, num_hidden_layers: int = 22, num_attention_heads: int = 16, ff_mult: int = 2, emb_dim: int = 512, head_dim: int = 64, rope_parameters: transformers.modeling_rope_utils.RopeParameters | dict | None = None, max_position_embeddings: int = 32768, block_size: int = 24, look_ahead_layers: list[int] | tuple[int, ...] = (10,), look_backward_layers: list[int] | tuple[int, ...] = (0, 20), repeats: int = 2, num_embeds: int = 8193, mel_dim: int = 80, dropout: float | int = 0.1, enc_emb_dim: int = 192, enc_dim: int = 128, enc_channels: list[int] | tuple[int, ...] = (256, 256, 256, 256, 768), enc_kernel_sizes: list[int] | tuple[int, ...] = (5, 3, 3, 3, 1), enc_dilations: list[int] | tuple[int, ...] = (1, 2, 3, 4, 1), enc_attention_channels: int = 64, enc_res2net_scale: int = 2, enc_se_channels: int = 64) ``` [المصدر](https://github.com/huggingface/transformers/blob/main/src/transformers/models/qwen2_5_omni/configuration_qwen2_5_omni.py#L391) **المعاملات:** hidden_size (`int`، *اختياري*، القيمة الافتراضية `1024`) : بُعد التمثيلات المخفية. num_hidden_layers (`int`، *اختياري*، القيمة الافتراضية `22`) : عدد الطبقات المخفية في مُفكِّك Transformer. num_attention_heads (`int`، *اختياري*، القيمة الافتراضية `16`) : عدد رؤوس الانتباه في كل طبقة انتباه داخل مُفكِّك Transformer. ff_mult (`int`، *اختياري*، القيمة الافتراضية 2) : المضاعِف لطبقة التغذية الأمامية في كل كتلة تحويل. emb_dim (`int`، *اختياري*، القيمة الافتراضية 512) : بُعد طبقة التضمين. head_dim (`int`, *اختياري*, الافتراضي هو `64`) : أبعاد رأس الانتباه. إذا كانت None، فسيكون الافتراضي hidden_size // num_attention_heads rope_parameters (`Union[~modeling_rope_utils.RopeParameters, dict]`، *اختياري*) : قاموس يحتوي على معاملات التهيئة الخاصة بتضمينات RoPE. يجب أن يحتوي القاموس على قيمة لـ `rope_theta`، وبشكل اختياري معاملات تُستخدم للتوسيع في حال رغبتَ في استخدام RoPE مع `max_position_embeddings` أطول. max_position_embeddings (`int`، *اختياري*، الافتراضي هو `32768`) : أقصى طول تسلسل قد يُستخدم به هذا النموذج. block_size (`int`، *اختياري*، القيمة الافتراضية 64) : عدد الرموز (الإطارات) في كل كتلة معالجة. look_ahead_layers (`list[int]`، *اختياري*، القيمة الافتراضية `[10]`) : عدد طبقات التحويل (transformer) المسموح لها بالانتباه إلى الكتل المستقبلية look_backward_layers (`list[int]`، *اختياري*، القيمة الافتراضية `[0, 20]`) : عدد طبقات التحويل التي تهتم بالكتل السابقة خارج حدود الكتلة الحالية repeats (`int`، *اختياري*، القيمة الافتراضية 2) : عدد مرات تكرار تضمينات المُشفِّر. num_embeds (`int`، *اختياري*، القيمة الافتراضية 8193) : عدد التضمينات الفريدة في شيفرة الترميز. mel_dim (`int`، *اختياري*، القيمة الافتراضية 80) : بُعد مطياف الميّل. dropout (`Union[float, int]`، *اختياري*، القيمة الافتراضية هي `0.1`) : النسبة لجميع طبقات dropout. enc_emb_dim (`int`، *اختياري*، القيمة الافتراضية 192) : بُعد تمثيل المتكلم المُدرَّب مسبقًا. enc_dim (`int`، *اختياري*، القيمة الافتراضية 128) : بُعد مخرج المُشفِّر. enc_channels (`list[int]`، *اختياري*، القيمة الافتراضية `[256, 256, 256, 256, 768]`) : قائمة بقنوات الإخراج لكل طبقة TDNN/SERes2Net في المُشفِّر. enc_kernel_sizes (`list[int]`، *اختياري*، القيمة الافتراضية `[5, 3, 3, 3, 1]`) : قائمة بأحجام النواة (kernel) لكل طبقة في المُشفِّر (encoder). enc_dilations (`list[int]`، *اختياري*، القيمة الافتراضية `[1, 2, 3, 4, 1]`) : قائمة بالتوسعات (dilations) لكل طبقة في المُشفِّر (encoder). enc_attention_channels (`int`، *اختياري*، القيمة الافتراضية 64) : عدد قنوات الانتباه في SqueezeExcitationBlock. enc_res2net_scale (`int`، *اختياري*، القيمة الافتراضية 2) : مقياس كتلة Res2Net في المُشفِّر. enc_se_channels (`int`، *اختياري*، القيمة الافتراضية 64) : عدد قنوات الإخراج بعد الضغط في SqueezeExcitationBlock. هذه فئة الإعدادات المخزنة لإعدادات نموذج Qwen2 5 OmniModel. تُستخدم لاستحداث نموذج Qwen2 5 Omni وفقًا للحجج المحددة، مع تعريف بنية النموذج. إن استحداث إعدادات باستخدام القيم الافتراضية سيؤدي إلى إعدادات مشابهة لتلك الخاصة بـ [Qwen/Qwen2.5-Omni-7B](https://huggingface.co/Qwen/Qwen2.5-Omni-7B) ترث كائنات الإعداد من [PreTrainedConfig](/docs/transformers/main/ar/main_classes/configuration#transformers.PreTrainedConfig) ويمكن استخدامها للتحكم في مخرجات النموذج. اقرأ التوثيق الخاص بـ [PreTrainedConfig](/docs/transformers/main/ar/main_classes/configuration#transformers.PreTrainedConfig) لمزيد من المعلومات. ## Qwen2_5OmniBigVGANConfig[[transformers.Qwen2_5OmniBigVGANConfig]] #### transformers.Qwen2_5OmniBigVGANConfig[[transformers.Qwen2_5OmniBigVGANConfig]] ```python transformers.Qwen2_5OmniBigVGANConfig(transformers_version: str | None = None, architectures: list[str] | None = None, output_hidden_states: bool | None = False, return_dict: bool | None = True, dtype: str | torch.dtype | None = None, chunk_size_feed_forward: int = 0, is_encoder_decoder: bool = False, id2label: dict[int, str] | dict[str, str] | None = None, label2id: dict[str, int] | dict[str, str] | None = None, problem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = None, mel_dim: int = 80, upsample_initial_channel: int = 1536, resblock_kernel_sizes: list[int] | tuple[int, ...] = (3, 7, 11), resblock_dilation_sizes: list | tuple = ((1, 3, 5), (1, 3, 5), (1, 3, 5)), upsample_rates: list[int] | tuple[int, ...] = (5, 3, 2, 2, 2, 2), upsample_kernel_sizes: list[int] | tuple[int, ...] = (11, 7, 4, 4, 4, 4)) ``` [المصدر](https://github.com/huggingface/transformers/blob/main/src/transformers/models/qwen2_5_omni/configuration_qwen2_5_omni.py#L456) **المعاملات:** mel_dim (`int`، *اختياري*، القيمة الافتراضية 80) : بُعد مطياف الميّل. upsample_initial_channel (`int`، *اختياري*، القيمة الافتراضية 1536) : عدد القنوات في طبقة رفع الدقة الأولية. resblock_kernel_sizes (`list[int]`، *اختياري*، القيمة الافتراضية `[3, 7, 11]`) : قائمة بأحجام النواة (kernel) لكل كتلة متبقية (residual block). resblock_dilation_sizes (`list[list[int]]`، *اختياري*، القيمة الافتراضية `[[1, 3, 5], [1, 3, 5], [1, 3, 5]]`) : قائمة بأحجام التمدد (dilation) لكل كتلة متبقية (residual block). upsample_rates (`list[int]`، *اختياري*، القيمة الافتراضية `[5, 3, 2, 2, 2, 2]`) : قائمة بمعدلات إعادة التجميع لكل طبقة إعادة تجميع. upsample_kernel_sizes (`list[int]`، *اختياري*، القيمة الافتراضية `[11, 7, 4, 4, 4, 4]`) : قائمة بأحجام النواة (kernel) لكل طبقة من طبقات رفع الدقة (upsampling). هذه فئة الإعدادات المخزنة لإعدادات نموذج Qwen2 5 OmniModel. تُستخدم لاستحداث نموذج Qwen2 5 Omni وفقًا للحجج المحددة، مع تعريف بنية النموذج. إن استحداث إعدادات باستخدام القيم الافتراضية سيؤدي إلى إعدادات مشابهة لتلك الخاصة بـ [Qwen/Qwen2.5-Omni-7B](https://huggingface.co/Qwen/Qwen2.5-Omni-7B) ترث كائنات الإعداد من [PreTrainedConfig](/docs/transformers/main/ar/main_classes/configuration#transformers.PreTrainedConfig) ويمكن استخدامها للتحكم في مخرجات النموذج. اقرأ التوثيق الخاص بـ [PreTrainedConfig](/docs/transformers/main/ar/main_classes/configuration#transformers.PreTrainedConfig) لمزيد من المعلومات. ## Qwen2_5OmniAudioEncoderConfig[[transformers.Qwen2_5OmniAudioEncoderConfig]] #### transformers.Qwen2_5OmniAudioEncoderConfig[[transformers.Qwen2_5OmniAudioEncoderConfig]] ```python transformers.Qwen2_5OmniAudioEncoderConfig(transformers_version: str | None = None, architectures: list[str] | None = None, output_hidden_states: bool | None = False, return_dict: bool | None = True, dtype: str | torch.dtype | None = None, chunk_size_feed_forward: int = 0, is_encoder_decoder: bool = False, id2label: dict[int, str] | dict[str, str] | None = None, label2id: dict[str, int] | dict[str, str] | None = None, problem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = None, num_mel_bins: int = 128, encoder_layers: int = 32, encoder_attention_heads: int = 20, encoder_ffn_dim: int = 5120, d_model: int = 1280, dropout: float | int = 0.0, attention_dropout: float | int = 0.0, activation_function: str = 'gelu', activation_dropout: float | int = 0.0, scale_embedding: bool = False, initializer_range: float = 0.02, max_source_positions: int = 1500, n_window: int = 100, output_dim: int = 3584) ``` [المصدر](https://github.com/huggingface/transformers/blob/main/src/transformers/models/qwen2_5_omni/configuration_qwen2_5_omni.py#L77) **المعاملات:** num_mel_bins (`int`، *اختياري*، القيمة الافتراضية `128`) : عدد ميزات ميل المستخدمة لكل إطار إدخال. يجب أن يتوافق مع القيمة المستخدمة في فئة `AutoFeatureExtractor`. encoder_layers (`int`، *اختياري*، القيمة الافتراضية `32`) : عدد الطبقات المخفية في مُشفِّر Transformer. سيستخدم القيمة نفسها لـ`num_layers` إذا لم يتم ضبطه. encoder_attention_heads (`int`، *اختياري*، القيمة الافتراضية `20`) : عدد رؤوس الانتباه لكل طبقة انتباه في مُشفِّر Transformer. encoder_ffn_dim (`int`، *اختياري*، القيمة الافتراضية `5120`) : بُعد طبقة "الوسيطة" (التي تُسمّى غالبًا طبقة التغذية الأمامية) في المُشفِّر. d_model (`int`، *اختياري*، القيمة الافتراضية `1280`) : حجم طبقات المُشفِّر وطبقة المُجمِّع. dropout (`Union[float, int]`، *اختياري*، القيمة الافتراضية `0.0`) : نسبة جميع طبقات dropout. attention_dropout (`Union[float, int]`، *اختياري*، القيمة الافتراضية `0.0`) : نسبة الإسقاط (dropout) لاحتمالات الانتباه. activation_function (`str`، *اختياري*، القيمة الافتراضية `gelu`) : دالة التنشيط غير الخطية (دالة أو نص) في المُفكِّك. على سبيل المثال، `"gelu"`، `"relu"`، `"silu"`، وما إلى ذلك. activation_dropout (`Union[float, int]`، *اختياري*، القيمة الافتراضية `0.0`) : نسبة الإسقاط (dropout) للتفعيلات داخل الطبقة المتصلة بالكامل. scale_embedding (`bool`، *اختياري*، القيمة الافتراضية `False`) : ما إذا كان سيتم توسيع التضمينات (embeddings) من خلال القسمة على sqrt(d_model). initializer_range (`float`، *اختياري*، القيمة الافتراضية `0.02`) : الانحراف المعياري لـ truncated_normal_initializer المستخدم في تهيئة جميع مصفوفات الأوزان. max_source_positions (`int`، *اختياري*، القيمة الافتراضية 1500) : الحد الأقصى لطول التسلسل لميزات بنك مرشحات log-mel التي قد يُستخدم هذا النموذج معها. n_window (`int`، *اختياري*، القيمة الافتراضية 100) : الجزء (chunk) الخاص بـ conv و flash attn في AudioEncoder. output_dim (`int`، *اختياري*، القيمة الافتراضية 3584) : بُعد المخرجات لمكوّن AudioEncoder. هذه فئة الإعدادات المخزنة لإعدادات نموذج Qwen2 5 OmniModel. تُستخدم لاستحداث نموذج Qwen2 5 Omni وفقًا للحجج المحددة، مع تعريف بنية النموذج. إن استحداث إعدادات باستخدام القيم الافتراضية سيؤدي إلى إعدادات مشابهة لتلك الخاصة بـ [Qwen/Qwen2.5-Omni-7B](https://huggingface.co/Qwen/Qwen2.5-Omni-7B) ترث كائنات الإعداد من [PreTrainedConfig](/docs/transformers/main/ar/main_classes/configuration#transformers.PreTrainedConfig) ويمكن استخدامها للتحكم في مخرجات النموذج. اقرأ التوثيق الخاص بـ [PreTrainedConfig](/docs/transformers/main/ar/main_classes/configuration#transformers.PreTrainedConfig) لمزيد من المعلومات. مثال: ```python >>> from transformers import Qwen2_5OmniAudioEncoderConfig, Qwen2_5OmniAudioEncoder >>> # Initializing a Qwen2_5OmniAudioEncoderConfig >>> configuration = Qwen2_5OmniAudioEncoderConfig() >>> # Initializing a Qwen2_5OmniAudioEncoder (with random weights) >>> model = Qwen2_5OmniAudioEncoder(configuration) >>> # Accessing the model configuration >>> configuration = model.config ``` ## Qwen2_5OmniProcessor[[transformers.Qwen2_5OmniProcessor]] #### transformers.Qwen2_5OmniProcessor[[transformers.Qwen2_5OmniProcessor]] ```python transformers.Qwen2_5OmniProcessor(image_processor = None, video_processor = None, feature_extractor = None, tokenizer = None, chat_template = None) ``` [المصدر](https://github.com/huggingface/transformers/blob/main/src/transformers/models/qwen2_5_omni/processing_qwen2_5_omni.py#L111) **المعاملات:** image_processor (`Qwen2VLImageProcessor`) : مُعالج الصور هو مدخل مطلوب. video_processor (`Qwen2VLVideoProcessor`) : مُعالج الفيديو هو مدخل مطلوب. feature_extractor (`WhisperFeatureExtractor`) : مُستخرج الميزات هو مدخل إلزامي. tokenizer (`Qwen2Tokenizer`) : المُجزِّئ مدخل إلزامي. chat_template (`str`) : قالب Jinja لتحويل قوائم الرسائل في المحادثة إلى نص قابل للتحويم. ينشئ Qwen2_5OmniProcessor الذي يجمع معالج الصور ومعالج الفيديو ومستخرج الميزات ومجزئ الرموز في معالج واحد. يوفر [Qwen2_5OmniProcessor](/docs/transformers/main/ar/model_doc/qwen2_5_omni#transformers.Qwen2_5OmniProcessor) جميع وظائف [Qwen2VLImageProcessor](/docs/transformers/main/ar/model_doc/qwen2_vl#transformers.Qwen2VLImageProcessor) و[Qwen2VLVideoProcessor](/docs/transformers/main/ar/model_doc/qwen2_vl#transformers.Qwen2VLVideoProcessor) و[WhisperFeatureExtractor](/docs/transformers/main/ar/model_doc/whisper#transformers.WhisperFeatureExtractor) و[Qwen2Tokenizer](/docs/transformers/main/ar/model_doc/qwen2#transformers.Qwen2Tokenizer). راجع [~Qwen2VLImageProcessor](/docs/transformers/main/ar/model_doc/qwen2_vl#transformers.Qwen2VLImageProcessor) و[~Qwen2VLVideoProcessor](/docs/transformers/main/ar/model_doc/qwen2_vl#transformers.Qwen2VLVideoProcessor) و[~WhisperFeatureExtractor](/docs/transformers/main/ar/model_doc/whisper#transformers.WhisperFeatureExtractor) و[~Qwen2Tokenizer](/docs/transformers/main/ar/model_doc/qwen2#transformers.Qwen2Tokenizer) لمزيد من المعلومات. #### __call__[[transformers.Qwen2_5OmniProcessor.__call__]] ```python __call__(text: str | list[str] | list[list[str]] = None, images: typing.Union[ForwardRef('PIL.Image.Image'), numpy.ndarray, ForwardRef('torch.Tensor'), list['PIL.Image.Image'], list[numpy.ndarray], list['torch.Tensor'], NoneType] = None, videos: typing.Union[list['PIL.Image.Image'], numpy.ndarray, ForwardRef('torch.Tensor'), list[numpy.ndarray], list['torch.Tensor'], list[list['PIL.Image.Image']], list[list[numpy.ndarray]], list[list['torch.Tensor']], transformers.video_utils.URL, list[transformers.video_utils.URL], list[list[transformers.video_utils.URL]], transformers.video_utils.Path, list[transformers.video_utils.Path], list[list[transformers.video_utils.Path]], NoneType] = None, audio: typing.Union[numpy.ndarray, ForwardRef('torch.Tensor'), list[numpy.ndarray], list['torch.Tensor'], NoneType] = None, **kwargs: *) ``` [المصدر](https://github.com/huggingface/transformers/blob/main/src/transformers/models/qwen2_5_omni/processing_qwen2_5_omni.py#L126) **المعاملات:** text (`Union[str, list[str], list[list[str]]]`، *اختياري*) : التسلسل أو الدفعة من التسلسلات المراد ترميزها. يمكن أن يكون كل تسلسل نصًا أو قائمة من النصوص (نص مُجزَّأ مسبقًا). إذا مررت مدخلات مُجزَّأة مسبقًا، فاضبط `is_split_into_words=True` لتجنب الغموض مع المدخلات المُجمَّعة في دفعات. images (`Union[PIL.Image.Image, numpy.ndarray, torch.Tensor, list[PIL.Image.Image], list[numpy.ndarray], list[torch.Tensor]]`, *اختياري*) : الصورة التي سيتم معالجتها مسبقًا. يتوقع صورة واحدة أو دفعة من الصور بقيم بكسل تتراوح بين 0 و255. إذا كنت تمرر صورًا بقيم بكسل بين 0 و1، فاضبط `do_rescale=False`. videos (`Union[list[PIL.Image.Image], numpy.ndarray, torch.Tensor, list[numpy.ndarray], list[torch.Tensor], list[list[PIL.Image.Image]], list[list[numpy.ndarray]], list[list[torch.Tensor]], ~video_utils.URL, list[~video_utils.URL], list[list[~video_utils.URL]], ~video_utils.Path, list[~video_utils.Path], list[list[~video_utils.Path]]]`، *اختياري*) : الفيديو المراد معالجته مسبقًا. يتوقع إدخال فيديو واحد أو دفعة من الفيديوهات بقيم بكسل تتراوح بين 0 و255. إذا كنت تمرر فيديوهات بقيم بكسل بين 0 و1، فاضبط `do_rescale=False`. audio (`Union[numpy.ndarray, torch.Tensor, list[numpy.ndarray], list[torch.Tensor]]`، *اختياري*) : الصوت أو مجموعة الأصوات التي يجب تجهيزها. يمكن أن يكون كل صوت مصفوفة NumPy أو متجه PyTorch. في حالة استخدام مصفوفة NumPy/متجه PyTorch، يجب أن يكون شكل كل صوت (C, T)، حيث C هو عدد القنوات، وT هو طول العينة للصوت. min_pixels (`int`، *kwargs*، *اختياري*) : الحد الأدنى لعدد البكسلات (الارتفاع × العرض) لإطارات الفيديو بعد تغيير الحجم. سيتم تكبير الإطارات الأصغر من هذا الحد لتلبية المتطلب الأدنى. max_pixels (`int`، *kwargs*، *اختياري*) : الحد الأقصى لعدد البكسلات (الارتفاع × العرض) لإطارات الفيديو بعد تغيير الحجم. سيتم تصغير الإطارات التي تتجاوز هذا الحد لتتوافق مع هذا الحد الأقصى. patch_size (`int`، *kwargs*، *اختياري*) : حجم البقعة المكانية الذي يستخدمه مُشفِّر الرؤية. تُقسَّم إطارات الفيديو إلى بقع بهذا الحجم في كل من أبعاد الارتفاع والعرض. temporal_patch_size (`int`، *kwargs*، *اختياري*) : حجم البقعة الزمنية الذي يستخدمه مُشفِّر الرؤية. يحدد هذا العدد من الإطارات المتتالية التي تُجمَّع معًا كبقعة زمنية واحدة. merge_size (`int`، *kwargs*، *اختياري*) : حجم الدمج المستخدم لدمج البقع المكانية. يتم دمج عدة بقع معًا لتقليل طول التسلسل مع الحفاظ على المعلومات المكانية. min_frames (`int`، *kwargs*، *اختياري*) : الحد الأدنى لعدد الإطارات التي يجب استخراجها من الفيديو. سيتم ملء الفيديوهات التي تحتوي على عدد أقل من الإطارات أو تكرار إطاراتها لتلبية هذا الشرط. max_frames (`int`، *kwargs*، *اختياري*) : الحد الأقصى لعدد الإطارات التي سيتم استخراجها من الفيديو. سيتم تقصير الفيديوهات الأطول أو أخذ عينات منها لتناسب هذا الحد. use_audio_in_video (`bool`، *kwargs*، *اختياري*، القيمة الافتراضية `False`) : معامل قديم - استخدم `load_audio_from_video` بدلاً منه. load_audio_from_video (`bool`، *kwargs*، *اختياري*، القيمة الافتراضية `False`) : ما إذا كان يجب دمج معلومات الصوت عند معالجة مقاطع الفيديو. عند التفعيل، تُدمج رموز الصوت مع رموز الفيديو بناءً على المحاذاة الزمنية، مما يخلق تمثيلاً متعدد الوسائط موحداً. seconds_per_chunk (`float`، *kwargs*، *اختياري*، القيمة الافتراضية `2.0`) : المدة (بالثواني) لكل مقطع فيديو عند تقسيم الفيديوهات الطويلة. يتحكم هذا المعامل في كيفية تقسيم الفيديوهات إلى مقاطع زمنية للمعالجة. position_id_per_seconds (`int`، *kwargs* أو `float`، *اختياري*، القيمة الافتراضية `25`) : عدد معرّفات المواقع المخصصة لكل ثانية من الفيديو. يتحكم هذا المعامل في الدقة الزمنية لتضمينات المواقع ويُستخدم لمواءمة رموز الفيديو مع رموز الصوت عندما يكون `use_audio_in_video=True`. return_tensors (`str` أو [TensorType](/docs/transformers/main/ar/internal/file_utils#transformers.TensorType)، *اختياري*) : إذا تم تعيينه، فسيُرجع تينسورات من إطار عمل محدد. القيم المقبولة هي: - `'pt'`: يُرجع كائنات `torch.Tensor` من PyTorch. - `'np'`: يُرجع كائنات `np.ndarray` من NumPy. - ****kwargs** ([ProcessingKwargs](/docs/transformers/main/ar/main_classes/processors#transformers.ProcessingKwargs)، *اختياري*) : خيارات معالجة إضافية لكل نمط (نص، صور، مقاطع فيديو، صوت). تُدرج المعلمات الخاصة بالنموذج أعلاه؛ راجع فئة TypedDict للحصول على القائمة الكاملة للحجج المدعومة. **يعيد:** `~feature_extraction_utils.BatchFeature` - **data** (`dict`، *اختياري*) -- قاموس من القوائم/المصفوفات/الموترات التي تُعاد بواسطة طرائق __call__/pad ('input_values'، 'attention_mask'، وما إلى ذلك). - **tensor_type** (`Union[None, str, TensorType]`، *اختياري*) -- يمكنك تحديد tensor_type هنا لتحويل قوائم الأعداد الصحيحة إلى تينسورات PyTorch/Numpy عند التهيئة. - **skip_tensor_conversion** (`list[str]` أو `set[str]`، *اختياري*) -- قائمة أو مجموعة من المفاتيح التي يجب ألا يتم تحويلها إلى متجهات، حتى عند تحديد `tensor_type`. ## Qwen2_5OmniForConditionalGeneration[[transformers.Qwen2_5OmniForConditionalGeneration]] #### transformers.Qwen2_5OmniForConditionalGeneration[[transformers.Qwen2_5OmniForConditionalGeneration]] ```python transformers.Qwen2_5OmniForConditionalGeneration(config: Qwen2_5OmniConfig) ``` [المصدر](https://github.com/huggingface/transformers/blob/main/src/transformers/models/qwen2_5_omni/modeling_qwen2_5_omni.py#L3717) **المعاملات:** config ([Qwen2_5OmniConfig](/docs/transformers/main/ar/model_doc/qwen2_5_omni#transformers.Qwen2_5OmniConfig)) : فئة إعدادات النموذج التي تحتوي على جميع معاملات النموذج. عند التهيئة باستخدام ملف إعدادات، لا يتم تحميل الأوزان المرتبطة بالنموذج، بل الإعدادات فقط. راجع طريقة [from_pretrained()](/docs/transformers/main/ar/main_classes/model#transformers.PreTrainedModel.from_pretrained) لتحميل أوزان النموذج. نموذج Qwen2.5Omni الكامل، وهو نموذج متعدد الوسائط يتكون من ثلاثة نماذج فرعية: - [Qwen2_5OmniThinkerForConditionalGeneration](/docs/transformers/main/ar/model_doc/qwen2_5_omni#transformers.Qwen2_5OmniThinkerForConditionalGeneration): يقوم transformer التنبؤي الذاتي السببي باستقبال النص والصوت والصورة والفيديو كمدخلات، ثم يتنبأ برموز النص. - [Qwen2_5OmniTalkerForConditionalGeneration](/docs/transformers/main/ar/model_doc/qwen2_5_omni#transformers.Qwen2_5OmniTalkerForConditionalGeneration): يقوم transformer ذاتي التوليد السببي باستقبال حالات المخفي الخاصة بالمفكّر والاستجابة كمدخلات، ثم يتنبأ برموز الكلام. - [Qwen2_5OmniToken2WavModel](/docs/transformers/main/ar/model_doc/qwen2_5_omni#transformers.Qwen2_5OmniToken2WavModel): يستقبل نموذج DiT رموز الكلام كمدخلات ويتنبأ بمطياف mel، بينما يستقبل مُصوِّت BigVGAN مطياف mel كمدخلات ويتنبأ بالموجة الصوتية. يرث هذا النموذج من [PreTrainedModel](/docs/transformers/main/ar/main_classes/model#transformers.PreTrainedModel). راجع توثيق الفئة الأصلية لمعرفة الطرق العامة التي تنفذها المكتبة لجميع نماذجها (مثل التنزيل أو الحفظ، وتغيير حجم تضمينات الإدخال، وقص الرؤوس، وما إلى ذلك). هذا النموذج هو أيضاً فئة فرعية من [torch.nn.Module](https://pytorch.org/docs/stable/nn.html#torch.nn.Module) في PyTorch. استخدمه كوحدة PyTorch عادية، وارجع إلى توثيق PyTorch لكل ما يتعلق بالاستخدام العام والسلوك. #### forward[[transformers.Qwen2_5OmniForConditionalGeneration.forward]] ```python forward(*args, **kwargs) ``` قيمة وهمية لمسار منقّط (مثل `torch.float32`): سلاسل الوصول إلى السمات، والاستدعاءات تتصرف كمُزيّنات مُمرِّرة، و`repr` هو المسار المنقّط، وعند استخدامه كصنف أساسي يُستبدل بصنف أساسي من نوع `type` عادي (بموجب `__mro_entries__` في PEP 560)، بحيث تحتفظ الأصناف الفرعية الحقيقية بفئة ميتا عادية، وتقرأ `inspect.signature` دالة `__init__` الحقيقية الخاصة بها بدلاً من تلك الموجودة في القيمة الوهمية. ## Qwen2_5OmniPreTrainedModelForConditionalGeneration[[transformers.Qwen2_5OmniPreTrainedModelForConditionalGeneration]] #### transformers.Qwen2_5OmniPreTrainedModelForConditionalGeneration[[transformers.Qwen2_5OmniPreTrainedModelForConditionalGeneration]] ```python transformers.Qwen2_5OmniPreTrainedModelForConditionalGeneration(config: PreTrainedConfig, *inputs, **kwargs) ``` [المصدر](https://github.com/huggingface/transformers/blob/main/src/transformers/models/qwen2_5_omni/modeling_qwen2_5_omni.py#L155) #### get_chunked_index[[transformers.Qwen2_5OmniPreTrainedModelForConditionalGeneration.get_chunked_index]] ```python get_chunked_index(token_indices: Tensor, tokens_per_chunk: int, remove_index: int) ``` [المصدر](https://github.com/huggingface/transformers/blob/main/src/transformers/models/qwen2_5_omni/modeling_qwen2_5_omni.py#L178) **المعاملات:** token_indices (`torch.Tensor` من الشكل `(seq_len, )`) : قائمة متزايدة بشكل أحادي لقيم فهارس الرموز. t_ntoken_per_chunk (`int`) : عدد الرموز لكل شريحة (يُستخدم كحد عتبة حجم الشريحة). remove_index (`int`) معرّف فهرس يُطرح من `token_indices` قبل التقطيع -- **يعيد:** `list[tuple[int, int]]` قائمة من الأزواج (tuples)، يمثل كلٌّ منها الفهرس الابتدائي (شاملًا) والفهرس النهائي (غير شامل) لقِطعة في `token_indices`. يقسم قائمة فهارس الرموز إلى مجموعات بناءً على نطاقات قيم الرموز. عند تقديم قائمة من فهارس الرموز، تُرجع قائمة من أزواج الفهارس (البداية، النهاية) التي تمثل مقاطع من القائمة حيث تقع قيم الرموز ضمن نطاقات متتالية من `t_ntoken_per_chunk`. على سبيل المثال، إذا كان `t_ntoken_per_chunk` يساوي 1000، فإن الدالة ستنشئ مقاطع بحيث: - تحتوي الدفعة الأولى على قيم الرموز < 1000، - تحتوي الشريحة الثانية على قيم >= 1000 و < 2000، وهكذا. #### get_rope_index[[transformers.Qwen2_5OmniPreTrainedModelForConditionalGeneration.get_rope_index]] ```python get_rope_index(input_ids: typing.Optional[torch.LongTensor] = None, image_grid_thw: typing.Optional[torch.LongTensor] = None, video_grid_thw: typing.Optional[torch.LongTensor] = None, attention_mask: typing.Optional[torch.Tensor] = None, use_audio_in_video: bool = False, audio_seqlens: typing.Optional[torch.LongTensor] = None, second_per_grids: typing.Optional[torch.Tensor] = None) ``` [المصدر](https://github.com/huggingface/transformers/blob/main/src/transformers/models/qwen2_5_omni/modeling_qwen2_5_omni.py#L215) **المعاملات:** input_ids (`torch.LongTensor` من الشكل `(batch_size, sequence_length)`) : فهارس رموز تسلسل الإدخال في قاموس الكلمات. سيتم تجاهل الحشو افتراضيًا إذا قمت بتزويده. image_grid_thw (`torch.LongTensor` من الشكل `(num_images, 3)`، *اختياري*) : الزمن والارتفاع والعرض لشكل الميزات لكل صورة في LLM. video_grid_thw (`torch.LongTensor` من الشكل `(num_videos, 3)`، *اختياري*) : الأبعاد الزمنية والارتفاع والعرض لشكل الميزات لكل فيديو في LLM. attention_mask (`torch.Tensor` من الشكل `(batch_size, sequence_length)`، *اختياري*) : قناع لتجنب تنفيذ الانتباه على فهارس رموز الحشو. قيم القناع المختارة في `[0, 1]`: - 1 للرموز التي **ليست مقنّعة**، - 0 للرموز التي **مقنّعة**. use_audio_in_video (`bool`، *اختياري*) : إذا تم ضبطه على `True`، فسيتم استخدام الصوت في الفيديو. audio_seqlens (`torch.LongTensor` من الشكل `(num_audios)`، *اختياري*) : طول شكل الميزات لكل صوت في نموذج LLM. second_per_grids (`torch.LongTensor` من الشكل `(num_videos)`، *اختياري*) : الفترة الزمنية (بالثواني) لكل شبكة على البُعد الزمني في معرّفات المواقع ثلاثية الأبعاد. **يعيد:** position_ids (`torch.LongTensor` من الشكل `(3, batch_size, sequence_length)`) mrope_position_deltas (`torch.Tensor` من الشكل `(batch_size)`) احسب فهرس rope ثلاثي الأبعاد بناءً على الأبعاد الزمنية والارتفاع والعرض للصورة والفيديو في نموذج LLM. الشرح: تحتوي كل تسلسل تضمين على تضمين بصري وتضمين نصي، أو تحتوي على تضمين نصي فقط. في حالة تسلسل التضمين النصي الخالص، لا يوجد فرق في تضمين الموضع الدوار مقارنةً بنماذج اللغة الكبيرة الحديثة. أمثلة: input_ids: [T T T T T]، حيث يمثل T النص. temporal position_ids: [0, 1, 2, 3, 4] height position_ids: [0, 1, 2, 3, 4] width position_ids: [0, 1, 2, 3, 4] لأجزاء المتسلسلة الخاصة بالتضمين البصري والنصي، نحسب تضمين موضع دوّار ثلاثي الأبعاد (3D rotary position embedding) للجزء البصري وتضمين موضع دوّار أحادي البعد (1D rotary position embedding) للجزء النصي. أمثلة: الزمن (Time): 3 رقعات (patches)، تمثل مقاطع مختلفة من الفيديو عبر الزمن. الارتفاع (Height): رقعتان، تقسم كل إطار عمودياً. العرض (Width): رقعتان، تقسم كل إطار أفقياً. لدينا أيضاً بعض المعاملات المهمة: fps (إطارات في الثانية): معدل إطارات الفيديو، مضبوط على 1. وهذا يعني أن إطاراً واحداً يُعالج كل ثانية. tokens_per_second: هذا معامل حاسم. فهو يحدد عدد "خطوات الزمن" أو "رموز الزمن" المفاهيمية التي تُحزم في فترة ثانية واحدة من الفيديو. في هذه الحالة، لدينا 25 رمزاً في الثانية. لذا سيتم تمثيل كل ثانية من الفيديو بـ 25 نقطة زمنية منفصلة. فهو في جوهره يحدد الدقة الزمنية. temporal_patch_size: عدد الإطارات التي تُشكّل رقعة زمنية واحدة. هنا، هي إطاران. interval: حجم الخطوة لمعرّفات الموضع الزمني، ويُحسب على النحو التالي: tokens_per_second * temporal_patch_size / fps. في هذه الحالة، 25 * 2 / 1 = 50. وهذا يعني أن كل رقعة زمنية سيكون لديها فرق قدره 50 في معرّفات الموضع الزمني. input_ids: [V V V V V V V V V V V V T T T T T]، حيث V للجزء البصري. vision temporal position_ids: [0, 0, 0, 0, 50, 50, 50, 50, 100, 100, 100, 100] vision height position_ids: [0, 0, 1, 1, 0, 0, 1, 1, 0, 0, 1, 1] vision width position_ids: [0, 1, 0, 1, 0, 1, 0, 1, 0, 1, 0, 1] text temporal position_ids: [101, 102, 103, 104, 105] text height position_ids: [101, 102, 103, 104, 105] text width position_ids: [101, 102, 103, 104, 105] هنا نحسب معرّفات الموضع لبدء النص على أنها أكبر قيمة لمعرّفات الموضع البصرية زائد 1. ## Qwen2_5OmniThinkerConfig[[transformers.Qwen2_5OmniThinkerConfig]] #### transformers.Qwen2_5OmniThinkerConfig[[transformers.Qwen2_5OmniThinkerConfig]] ```python transformers.Qwen2_5OmniThinkerConfig(transformers_version: str | None = None, architectures: list[str] | None = None, output_hidden_states: bool | None = False, return_dict: bool | None = True, dtype: str | torch.dtype | None = None, chunk_size_feed_forward: int = 0, is_encoder_decoder: bool = False, id2label: dict[int, str] | dict[str, str] | None = None, label2id: dict[str, int] | dict[str, str] | None = None, problem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = None, audio_config: dict | transformers.configuration_utils.PreTrainedConfig | None = None, vision_config: dict | transformers.configuration_utils.PreTrainedConfig | None = None, text_config: dict | transformers.configuration_utils.PreTrainedConfig | None = None, audio_token_index: int = 151646, image_token_index: int = 151655, video_token_index: int = 151656, position_id_per_seconds: int = 25, seconds_per_chunk: int = 2, audio_start_token_id: int = 151647, audio_end_token_id: int = 151648, user_token_id: int = 872, initializer_range: float = 0.02, tie_word_embeddings: bool = False) ``` [المصدر](https://github.com/huggingface/transformers/blob/main/src/transformers/models/qwen2_5_omni/configuration_qwen2_5_omni.py#L212) **المعاملات:** audio_config (`Union[dict, ~configuration_utils.PreTrainedConfig]`، *اختياري*) : كائن الإعداد أو قاموس العمود الفقري الصوتي. vision_config (`Union[dict, ~configuration_utils.PreTrainedConfig]`، *اختياري*) : كائن الإعداد أو قاموس العمود الفقري البصري. text_config (`Union[dict, ~configuration_utils.PreTrainedConfig]`، *اختياري*) : كائن الإعداد أو قاموس العمود الفقري النصي. audio_token_index (`int`، *اختياري*، القيمة الافتراضية `151646`) : فهرس رمز الصوت المستخدم كحقل محجوز للصوت المُدخل. image_token_index (`int`، *اختياري*، القيمة الافتراضية `151655`) : فهرس رمز الصورة المستخدم كحقل محجوز للصور المدخلة. video_token_index (`int`، *اختياري*، القيمة الافتراضية `151656`) : فهرس رمز الفيديو المستخدم كحقل محجوز للفيديوهات المدخلة. position_id_per_seconds (`int`، *اختياري*، القيمة الافتراضية 25) : مقدار زيادة معرّف الموضع في الثانية. seconds_per_chunk (`int`، *اختياري*، القيمة الافتراضية 2) : المدة بالثواني للقطعة من بيانات الصوت والفيديو. audio_start_token_id (`int`، *اختياري*، القيمة الافتراضية 151647) : فهرس رمز بداية الصوت لتشفير موجه الصوت. audio_end_token_id (`int`، *اختياري*، القيمة الافتراضية 151648) : فهرس رمز نهاية الصوت لتشفير موجه الصوت. user_token_id (`int, *اختياري*, القيمة الافتراضية 872) : فهرس رمز المستخدم لتشفير رمز المستخدم. initializer_range (`float`، *اختياري*، القيمة الافتراضية `0.02`) : الانحراف المعياري لـ truncated_normal_initializer المستخدم في تهيئة جميع مصفوفات الأوزان. tie_word_embeddings (`bool`، *اختياري*، القيمة الافتراضية `False`) : ما إذا كان يجب ربط ترميزات الأوزان وفقاً لخريطة `tied_weights_keys` الخاصة بالنموذج. هذه فئة الإعدادات المخزنة لإعدادات نموذج Qwen2 5 OmniModel. تُستخدم لاستحداث نموذج Qwen2 5 Omni وفقًا للحجج المحددة، مع تعريف بنية النموذج. إن استحداث إعدادات باستخدام القيم الافتراضية سيؤدي إلى إعدادات مشابهة لتلك الخاصة بـ [Qwen/Qwen2.5-Omni-7B](https://huggingface.co/Qwen/Qwen2.5-Omni-7B) ترث كائنات الإعداد من [PreTrainedConfig](/docs/transformers/main/ar/main_classes/configuration#transformers.PreTrainedConfig) ويمكن استخدامها للتحكم في مخرجات النموذج. اقرأ التوثيق الخاص بـ [PreTrainedConfig](/docs/transformers/main/ar/main_classes/configuration#transformers.PreTrainedConfig) لمزيد من المعلومات. مثال: ```python >>> from transformers import Qwen2_5OmniThinkerForConditionalGeneration, Qwen2_5OmniThinkerConfig, Qwen2_5OmniAudioEncoderConfig, Qwen2_5OmniVisionEncoderConfig >>> # Initializing a Qwen2_5OmniAudioEncoder config >>> audio_config = Qwen2_5OmniAudioEncoderConfig() >>> # Initializing a Qwen2_5OmniVisionEncoder config >>> vision_config = Qwen2_5OmniVisionEncoderConfig() >>> # Initializing a Qwen2_5OmniTextConfig config >>> text_config = Qwen2_5OmniTextConfig() >>> # Initializing a Qwen2.5OmniThinker configuration >>> configuration = Qwen2_5OmniThinkerConfig(audio_config, vision_config, text_config) >>> # Initializing a model from the Qwen-Omni style configuration >>> model = Qwen2_5OmniThinkerForConditionalGeneration(configuration) >>> # Accessing the model configuration >>> configuration = model.config ``` ## Qwen2_5OmniThinkerModel[[transformers.Qwen2_5OmniThinkerModel]] #### transformers.Qwen2_5OmniThinkerModel[[transformers.Qwen2_5OmniThinkerModel]] ```python transformers.Qwen2_5OmniThinkerModel(config: Qwen2_5OmniThinkerConfig) ``` [المصدر](https://github.com/huggingface/transformers/blob/main/src/transformers/models/qwen2_5_omni/modeling_qwen2_5_omni.py#L1668) **المعاملات:** config ([Qwen2_5OmniThinkerConfig](/docs/transformers/main/ar/model_doc/qwen2_5_omni#transformers.Qwen2_5OmniThinkerConfig)) : فئة إعدادات النموذج التي تحتوي على جميع معاملات النموذج. عند التهيئة باستخدام ملف إعدادات، لا يتم تحميل الأوزان المرتبطة بالنموذج، بل الإعدادات فقط. راجع طريقة [from_pretrained()](/docs/transformers/main/ar/main_classes/model#transformers.PreTrainedModel.from_pretrained) لتحميل أوزان النموذج. نموذج Qwen2.5OmniThinker الذي يتكون من هيكل صوتي ونموذج لغوي. يرث هذا النموذج من [PreTrainedModel](/docs/transformers/main/ar/main_classes/model#transformers.PreTrainedModel). راجع توثيق الفئة الأصلية لمعرفة الطرق العامة التي تنفذها المكتبة لجميع نماذجها (مثل التنزيل أو الحفظ، وتغيير حجم تضمينات الإدخال، وقص الرؤوس، وما إلى ذلك). هذا النموذج هو أيضاً فئة فرعية من [torch.nn.Module](https://pytorch.org/docs/stable/nn.html#torch.nn.Module) في PyTorch. استخدمه كوحدة PyTorch عادية، وارجع إلى توثيق PyTorch لكل ما يتعلق بالاستخدام العام والسلوك. #### forward[[transformers.Qwen2_5OmniThinkerModel.forward]] ```python forward(input_ids: typing.Optional[torch.LongTensor] = None, input_features: typing.Optional[torch.Tensor] = None, pixel_values: typing.Optional[torch.Tensor] = None, pixel_values_videos: typing.Optional[torch.Tensor] = None, image_grid_thw: typing.Optional[torch.LongTensor] = None, video_grid_thw: typing.Optional[torch.LongTensor] = None, attention_mask: typing.Optional[torch.Tensor] = None, feature_attention_mask: typing.Optional[torch.Tensor] = None, audio_feature_lengths: typing.Optional[torch.LongTensor] = None, position_ids: typing.Optional[torch.LongTensor] = None, past_key_values: transformers.cache_utils.Cache | None = None, inputs_embeds: typing.Optional[torch.Tensor] = None, use_cache: bool | None = None, use_audio_in_video: bool | None = None, video_second_per_grid: typing.Optional[torch.LongTensor] = None, mm_encoder_outputs: dict[str, transformers.modeling_outputs.BaseModelOutputWithPooling] | None = None, **kwargs: *) ``` [المصدر](https://github.com/huggingface/transformers/blob/main/src/transformers/models/qwen2_5_omni/modeling_qwen2_5_omni.py#L1843) **المعاملات:** input_ids (`torch.LongTensor` من الشكل `(batch_size, sequence_length)`، *اختياري*) : فهارس رموز تسلسل الإدخال في قاموس الكلمات. سيتم تجاهل الحشو افتراضيًا. يمكن الحصول على الفهارس باستخدام [AutoTokenizer](/docs/transformers/main/ar/model_doc/auto#transformers.AutoTokenizer). راجع [PreTrainedTokenizer.encode()](/docs/transformers/main/ar/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.encode) و [PreTrainedTokenizer.__call__()](/docs/transformers/main/ar/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.__call__) للتفاصيل. [ما هي معرّفات الإدخال؟](../glossary#input-ids) input_features (`torch.Tensor` من الشكل `(batch_size, sequence_length, feature_dim)`، *اختياري*) : المصفوفات المقابلة لميزات الصوت المدخلة. يمكن الحصول على ميزات الصوت باستخدام [WhisperFeatureExtractor](/docs/transformers/main/ar/model_doc/whisper#transformers.WhisperFeatureExtractor). راجع [WhisperFeatureExtractor.__call__()](/docs/transformers/main/ar/model_doc/whisper#transformers.WhisperFeatureExtractor.__call__) للتفاصيل ([Qwen2_5OmniProcessor](/docs/transformers/main/ar/model_doc/qwen2_5_omni#transformers.Qwen2_5OmniProcessor) يستخدم [WhisperFeatureExtractor](/docs/transformers/main/ar/model_doc/whisper#transformers.WhisperFeatureExtractor) لمعالجة الأصوات). pixel_values (`torch.Tensor` من الشكل `(batch_size, num_channels, image_size, image_size)`، *اختياري*) : المصفوفات المقابلة لصور الإدخال. يمكن الحصول على قيم البكسل باستخدام [Qwen2VLImageProcessor](/docs/transformers/main/ar/model_doc/qwen2_vl#transformers.Qwen2VLImageProcessor). راجع [Qwen2VLImageProcessor.__call__()](/docs/transformers/main/ar/model_doc/molmo2#transformers.Molmo2ImageProcessor.__call__) للتفاصيل ([Qwen2_5OmniProcessor](/docs/transformers/main/ar/model_doc/qwen2_5_omni#transformers.Qwen2_5OmniProcessor) يستخدم [Qwen2VLImageProcessor](/docs/transformers/main/ar/model_doc/qwen2_vl#transformers.Qwen2VLImageProcessor) لمعالجة الصور). pixel_values_videos (`torch.Tensor` من الشكل `(batch_size, num_frames, num_channels, frame_size, frame_size)`، *اختياري*) : المصفوفات المقابلة لفيديو الإدخال. يمكن الحصول على قيم البكسل للفيديوهات باستخدام [Qwen2VLVideoProcessor](/docs/transformers/main/ar/model_doc/qwen2_vl#transformers.Qwen2VLVideoProcessor). راجع [Qwen2VLVideoProcessor.__call__()](/docs/transformers/main/ar/model_doc/molmo2#transformers.Molmo2VideoProcessor.__call__) للتفاصيل ([Qwen2_5OmniProcessor](/docs/transformers/main/ar/model_doc/qwen2_5_omni#transformers.Qwen2_5OmniProcessor) يستخدم [Qwen2VLVideoProcessor](/docs/transformers/main/ar/model_doc/qwen2_vl#transformers.Qwen2VLVideoProcessor) لمعالجة الفيديوهات). image_grid_thw (`torch.LongTensor` من الشكل `(num_images, 3)`، *اختياري*) : الزمن والارتفاع والعرض لشكل الميزات لكل صورة في LLM. video_grid_thw (`torch.LongTensor` من الشكل `(num_videos, 3)`، *اختياري*) : الأبعاد الزمنية والارتفاع والعرض لشكل الميزات لكل فيديو في LLM. attention_mask (`torch.Tensor` من الشكل `(batch_size, sequence_length)`، *اختياري*) : قناع لتجنب تنفيذ الانتباه على فهارس رموز الحشو. قيم القناع المختارة من `[0, 1]`: - 1 للرموز التي **ليست مقنّعة**، - 0 للرموز التي **مقنّعة**. [ما هي أقنعة الانتباه؟](../glossary#attention-mask) feature_attention_mask (`torch.Tensor` من الشكل `(batch_size, feature_sequence_length)`، *اختياري*) : قناع لتجنب تنفيذ الانتباه على فهارس الميزات المعبأة. قيم القناع المختارة في `[0, 1]`: - 1 للرموز التي **ليست مقنعة**، - 0 للرموز التي **مقنعة**. audio_feature_lengths (`torch.LongTensor` من الشكل `(num_audios)`، *اختياري*) : طول شكل الميزات لكل صوت في نموذج LLM. position_ids (`torch.LongTensor` من الشكل `(batch_size, sequence_length)`، *اختياري*) : فهارس مواضع رموز كل تسلسل إدخال في تضمينات المواضع. يتم اختيارها من النطاق `[0, config.n_positions - 1]`. [ما هي معرّفات المواضع؟](../glossary#position-ids) past_key_values (`~cache_utils.Cache`، *اختياري*) : حالات مخفية محسوبة مسبقًا (المفاتيح والقيم في كتل الانتباه الذاتي وكتل الانتباه المتقاطع) يمكن استخدامها لتسريع فك الترميز التسلسلي. يتكوّن هذا عادةً من `past_key_values` التي يعيدها النموذج في مرحلة سابقة من فك الترميز، عندما يكون `use_cache=True` أو `config.use_cache=True`. يُسمح فقط بتمرير كائن [Cache](/docs/transformers/main/ar/internal/generation_utils#transformers.Cache) كمدخل، راجع [دليل ذاكرة kv](https://huggingface.co/docs/transformers/en/kv_cache). إذا لم يتم تمرير `past_key_values`، فسيتم تهيئة [DynamicCache](/docs/transformers/main/ar/internal/generation_utils#transformers.DynamicCache) افتراضيًا. سيُخرج النموذج نفس تنسيق الذاكرة المؤقتة المُدخل. إذا تم استخدام `past_key_values`، يُتوقع من المستخدم إدخال `input_ids` غير المعالجة فقط (تلك التي لم تُعطَ حالات مفاتيح وقيم سابقة لها في هذا النموذج) بأبعاد `(batch_size, unprocessed_length)` بدلاً من جميع `input_ids` بأبعاد `(batch_size, sequence_length)`. inputs_embeds (`torch.Tensor` من الشكل `(batch_size, sequence_length, hidden_size)`، *اختياري*) : بدلاً من تمرير `input_ids`، يمكنك اختيار تمرير تمثيل مضمّن مباشرةً. هذا مفيد إذا كنت ترغب في الحصول على مزيد من التحكم في كيفية تحويل فهارس `input_ids` إلى المتجهات المرتبطة بها، مقارنةً بمصفوفة البحث المضمّنة الداخلية للنموذج. use_cache (`bool`، *اختياري*) : إذا تم ضبطه على `True`، تُعاد حالات المفاتيح والقيم `past_key_values` ويمكن استخدامها لتسريع فك الترميز (انظر `past_key_values`). use_audio_in_video (`bool`، *اختياري*) : ما إذا كان سيتم استخدام المسار الصوتي في الفيديو، ويجب أن يكون مطابقًا للمعامل في `process_audio_info`. video_second_per_grid (`torch.LongTensor` من الشكل `(num_videos)`، *اختياري*) : عدد الثواني لكل شبكة لكل فيديو، يُستخدم للتمثيل الزمني للميزات. mm_encoder_outputs (`dict[str, ~modeling_outputs.BaseModelOutputWithPooling]`، *اختياري*) : قاموس حيث تكون المفاتيح هي الأنماط المدعومة والقيم هي المخرجات المُرمّزة لذلك النمط. كل مخرَج مُرمّز هو مجموعة (tuple) تتكون من (`pooler_output`، *اختياري*: `last_hidden_states`، *اختياري*: `hidden_states`، *اختياري*: `attentions`) `pooler_output` من الشكل `(batch_size, sequence_length, hidden_size)`، *اختياري*) وهو تسلسل من الميزات متعددة الوسائط للمُشفِّر المُدمجة في تضمينات النص. **يعيد:** [BaseModelOutputWithPast](/docs/transformers/main/ar/main_classes/output#transformers.modeling_outputs.BaseModelOutputWithPast) أو `tuple(torch.Tensor)` [BaseModelOutputWithPast](/docs/transformers/main/ar/main_classes/output#transformers.modeling_outputs.BaseModelOutputWithPast) أو مجموعة من `torch.Tensor` (إذا تم تمرير `return_dict=False` أو عندما يكون `config.return_dict=False`) تتكون من عناصر مختلفة اعتماداً على الإعداد ([Qwen2_5OmniConfig](/docs/transformers/main/ar/model_doc/qwen2_5_omni#transformers.Qwen2_5OmniConfig)) والمدخلات. تُعيد طريقة [Qwen2_5OmniThinkerModel](/docs/transformers/main/ar/model_doc/qwen2_5_omni#transformers.Qwen2_5OmniThinkerModel) الخاصة بالتقديم (forward) تعريف الطريقة الخاصة `__call__`. على الرغم من أنه يجب تعريف وصفة المرور الأمامي داخل هذه الدالة، إلا أنه ينبغي استدعاء كائن `Module` بدلاً من هذه الدالة، لأن الكائن يتولى تنفيذ خطوات المعالجة المسبقة والمعالجة اللاحقة، بينما تتجاهل الدالة هذه الخطوات بصمت. - **last_hidden_state** (`torch.Tensor` من الشكل `(batch_size, sequence_length, hidden_size)`) -- تسلسل من حالات الإخفاء (hidden-states) عند مخرج الطبقة الأخيرة من النموذج. إذا تم استخدام `past_key_values`، فإن الحالة المخفية الأخيرة فقط من التسلسلات ذات الشكل `(batch_size, 1, hidden_size)` هي التي تُخرج. - **past_key_values** (`Cache`، *اختياري*، يُعاد عند تمرير `use_cache=True` أو عند تعيين `config.use_cache=True`) -- هو كائن من نوع [Cache](/docs/transformers/main/ar/internal/generation_utils#transformers.Cache). لمزيد من التفاصيل، راجع [دليل ذاكرة kv](https://huggingface.co/docs/transformers/en/kv_cache). تحتوي على حالات مخفية محسوبة مسبقًا (المفاتيح والقيم في كتل الانتباه الذاتي، وفي كتل الانتباه المتقاطع اختياريًا إذا كان `config.is_encoder_decoder=True`) يمكن استخدامها (انظر مدخل `past_key_values`) لتسريع فك الترميز التسلسلي. - **hidden_states** (`tuple(torch.Tensor)`، *اختياري*، يُعاد عند تمرير `output_hidden_states=True` أو عند تعيين `config.output_hidden_states=True`) -- مجموعة من `torch.Tensor` (واحدة لمخرجات التضمينات، إذا كان النموذج يحتوي على طبقة تضمين، + واحدة لمخرجات كل طبقة) بأبعاد `(batch_size, sequence_length, hidden_size)`. حالات النموذج المخفية عند مخرج كل طبقة بالإضافة إلى مخرجات التضمين الأولي الاختيارية. - **attentions** (`tuple(torch.Tensor)`، *اختياري*، يُعاد عند تمرير `output_attentions=True` أو عند تعيين `config.output_attentions=True`) -- مجموعة من `torch.Tensor` (واحدة لكل طبقة) بأبعاد `(batch_size, num_heads, sequence_length, sequence_length)`. أوزان الانتباه بعد تطبيق دالة softmax على الانتباه، وتُستخدم لحساب المتوسط الموزون في رؤوس الانتباه الذاتي. ## Qwen2_5OmniThinkerForConditionalGeneration[[transformers.Qwen2_5OmniThinkerForConditionalGeneration]] #### transformers.Qwen2_5OmniThinkerForConditionalGeneration[[transformers.Qwen2_5OmniThinkerForConditionalGeneration]] ```python transformers.Qwen2_5OmniThinkerForConditionalGeneration(config: Qwen2_5OmniThinkerConfig) ``` [المصدر](https://github.com/huggingface/transformers/blob/main/src/transformers/models/qwen2_5_omni/modeling_qwen2_5_omni.py#L1959) #### forward[[transformers.Qwen2_5OmniThinkerForConditionalGeneration.forward]] ```python forward(input_ids: typing.Optional[torch.LongTensor] = None, input_features: typing.Optional[torch.Tensor] = None, pixel_values: typing.Optional[torch.Tensor] = None, pixel_values_videos: typing.Optional[torch.Tensor] = None, image_grid_thw: typing.Optional[torch.LongTensor] = None, video_grid_thw: typing.Optional[torch.LongTensor] = None, attention_mask: typing.Optional[torch.Tensor] = None, feature_attention_mask: typing.Optional[torch.Tensor] = None, audio_feature_lengths: typing.Optional[torch.LongTensor] = None, position_ids: typing.Optional[torch.LongTensor] = None, past_key_values: transformers.cache_utils.Cache | None = None, inputs_embeds: typing.Optional[torch.Tensor] = None, labels: typing.Optional[torch.LongTensor] = None, use_cache: bool | None = None, use_audio_in_video: bool | None = None, video_second_per_grid: typing.Optional[torch.LongTensor] = None, mm_encoder_outputs: dict[str, transformers.modeling_outputs.BaseModelOutputWithPooling] | None = None, **kwargs: *) ``` [المصدر](https://github.com/huggingface/transformers/blob/main/src/transformers/models/qwen2_5_omni/modeling_qwen2_5_omni.py#L2017) **المعاملات:** input_ids (`torch.LongTensor` من الشكل `(batch_size, sequence_length)`، *اختياري*) : فهارس رموز تسلسل الإدخال في قاموس الكلمات. سيتم تجاهل الحشو افتراضيًا. يمكن الحصول على الفهارس باستخدام [AutoTokenizer](/docs/transformers/main/ar/model_doc/auto#transformers.AutoTokenizer). راجع [PreTrainedTokenizer.encode()](/docs/transformers/main/ar/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.encode) و [PreTrainedTokenizer.__call__()](/docs/transformers/main/ar/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.__call__) للتفاصيل. [ما هي معرّفات الإدخال؟](../glossary#input-ids) input_features (`torch.Tensor` من الشكل `(batch_size, sequence_length, feature_dim)`، *اختياري*) : المصفوفات المقابلة لميزات الصوت المدخلة. يمكن الحصول على ميزات الصوت باستخدام [WhisperFeatureExtractor](/docs/transformers/main/ar/model_doc/whisper#transformers.WhisperFeatureExtractor). راجع [WhisperFeatureExtractor.__call__()](/docs/transformers/main/ar/model_doc/whisper#transformers.WhisperFeatureExtractor.__call__) للتفاصيل ([Qwen2_5OmniProcessor](/docs/transformers/main/ar/model_doc/qwen2_5_omni#transformers.Qwen2_5OmniProcessor) يستخدم [WhisperFeatureExtractor](/docs/transformers/main/ar/model_doc/whisper#transformers.WhisperFeatureExtractor) لمعالجة الأصوات). pixel_values (`torch.Tensor` من الشكل `(batch_size, num_channels, image_size, image_size)`، *اختياري*) : المصفوفات المقابلة لصور الإدخال. يمكن الحصول على قيم البكسل باستخدام [Qwen2VLImageProcessor](/docs/transformers/main/ar/model_doc/qwen2_vl#transformers.Qwen2VLImageProcessor). راجع [Qwen2VLImageProcessor.__call__()](/docs/transformers/main/ar/model_doc/molmo2#transformers.Molmo2ImageProcessor.__call__) للتفاصيل ([Qwen2_5OmniProcessor](/docs/transformers/main/ar/model_doc/qwen2_5_omni#transformers.Qwen2_5OmniProcessor) يستخدم [Qwen2VLImageProcessor](/docs/transformers/main/ar/model_doc/qwen2_vl#transformers.Qwen2VLImageProcessor) لمعالجة الصور). pixel_values_videos (`torch.Tensor` من الشكل `(batch_size, num_frames, num_channels, frame_size, frame_size)`، *اختياري*) : المصفوفات المقابلة لفيديو الإدخال. يمكن الحصول على قيم البكسل للفيديوهات باستخدام [Qwen2VLVideoProcessor](/docs/transformers/main/ar/model_doc/qwen2_vl#transformers.Qwen2VLVideoProcessor). راجع [Qwen2VLVideoProcessor.__call__()](/docs/transformers/main/ar/model_doc/molmo2#transformers.Molmo2VideoProcessor.__call__) للتفاصيل ([Qwen2_5OmniProcessor](/docs/transformers/main/ar/model_doc/qwen2_5_omni#transformers.Qwen2_5OmniProcessor) يستخدم [Qwen2VLVideoProcessor](/docs/transformers/main/ar/model_doc/qwen2_vl#transformers.Qwen2VLVideoProcessor) لمعالجة الفيديوهات). image_grid_thw (`torch.LongTensor` من الشكل `(num_images, 3)`، *اختياري*) : الزمن والارتفاع والعرض لشكل الميزات لكل صورة في LLM. video_grid_thw (`torch.LongTensor` من الشكل `(num_videos, 3)`، *اختياري*) : الأبعاد الزمنية والارتفاع والعرض لشكل الميزات لكل فيديو في LLM. attention_mask (`torch.Tensor` من الشكل `(batch_size, sequence_length)`، *اختياري*) : قناع لتجنب تنفيذ الانتباه على فهارس رموز الحشو. قيم القناع المختارة من `[0, 1]`: - 1 للرموز التي **ليست مقنّعة**، - 0 للرموز التي **مقنّعة**. [ما هي أقنعة الانتباه؟](../glossary#attention-mask) feature_attention_mask (`torch.Tensor` من الشكل `(batch_size, feature_sequence_length)`، *اختياري*) : قناع لتجنب تنفيذ الانتباه على فهارس الميزات المعبأة. قيم القناع المختارة في `[0, 1]`: - 1 للرموز التي **ليست مقنعة**، - 0 للرموز التي **مقنعة**. audio_feature_lengths (`torch.LongTensor` من الشكل `(num_audios)`، *اختياري*) : طول شكل الميزات لكل صوت في نموذج LLM. position_ids (`torch.LongTensor` من الشكل `(batch_size, sequence_length)`، *اختياري*) : فهارس مواضع رموز كل تسلسل إدخال في تضمينات المواضع. يتم اختيارها من النطاق `[0, config.n_positions - 1]`. [ما هي معرّفات المواضع؟](../glossary#position-ids) past_key_values (`~cache_utils.Cache`، *اختياري*) : حالات مخفية محسوبة مسبقًا (المفاتيح والقيم في كتل الانتباه الذاتي وكتل الانتباه المتقاطع) يمكن استخدامها لتسريع فك الترميز التسلسلي. يتكوّن هذا عادةً من `past_key_values` التي يعيدها النموذج في مرحلة سابقة من فك الترميز، عندما يكون `use_cache=True` أو `config.use_cache=True`. يُسمح فقط بتمرير كائن [Cache](/docs/transformers/main/ar/internal/generation_utils#transformers.Cache) كمدخل، راجع [دليل ذاكرة kv](https://huggingface.co/docs/transformers/en/kv_cache). إذا لم يتم تمرير `past_key_values`، فسيتم تهيئة [DynamicCache](/docs/transformers/main/ar/internal/generation_utils#transformers.DynamicCache) افتراضيًا. سيُخرج النموذج نفس تنسيق الذاكرة المؤقتة المُدخل. إذا تم استخدام `past_key_values`، يُتوقع من المستخدم إدخال `input_ids` غير المعالجة فقط (تلك التي لم تُعطَ حالات مفاتيح وقيم سابقة لها في هذا النموذج) بأبعاد `(batch_size, unprocessed_length)` بدلاً من جميع `input_ids` بأبعاد `(batch_size, sequence_length)`. inputs_embeds (`torch.Tensor` من الشكل `(batch_size, sequence_length, hidden_size)`، *اختياري*) : بدلاً من تمرير `input_ids`، يمكنك اختيار تمرير تمثيل مضمّن مباشرةً. هذا مفيد إذا كنت ترغب في الحصول على مزيد من التحكم في كيفية تحويل فهارس `input_ids` إلى المتجهات المرتبطة بها، مقارنةً بمصفوفة البحث المضمّنة الداخلية للنموذج. labels (`torch.LongTensor` من الشكل `(batch_size, sequence_length)`، *اختياري*) : تسميات لحساب خسارة نمذجة اللغة المقنّعة. يجب أن تكون الفهارس إما ضمن `[0, ..., config.vocab_size]` أو -100 (انظر `input_ids` docstring). يتم تجاهل الرموز التي تكون فهارسها مضبوطة على `-100` (مقنّعة)، ولا تُحسب الخسارة إلا للرموز التي تسمياتها ضمن `[0, ..., config.vocab_size]`. use_cache (`bool`، *اختياري*) : إذا تم ضبطه على `True`، تُعاد حالات المفاتيح والقيم `past_key_values` ويمكن استخدامها لتسريع فك الترميز (انظر `past_key_values`). use_audio_in_video (`bool`، *اختياري*) : ما إذا كان سيتم استخدام المسار الصوتي في الفيديو، ويجب أن يكون مطابقًا للمعامل في `process_audio_info`. video_second_per_grid (`torch.LongTensor` من الشكل `(num_videos)`، *اختياري*) : عدد الثواني لكل شبكة لكل فيديو، يُستخدم للتمثيل الزمني للميزات. mm_encoder_outputs (`dict[str, ~modeling_outputs.BaseModelOutputWithPooling]`، *اختياري*) : قاموس حيث تكون المفاتيح هي الأنماط المدعومة والقيم هي المخرجات المُرمّزة لذلك النمط. كل مخرَج مُرمّز هو مجموعة (tuple) تتكون من (`pooler_output`، *اختياري*: `last_hidden_states`، *اختياري*: `hidden_states`، *اختياري*: `attentions`) `pooler_output` من الشكل `(batch_size, sequence_length, hidden_size)`، *اختياري*) وهو تسلسل من الميزات متعددة الوسائط للمُشفِّر المُدمجة في تضمينات النص. **يعيد:** [CausalLMOutputWithPast](/docs/transformers/main/ar/main_classes/output#transformers.modeling_outputs.CausalLMOutputWithPast) أو `tuple(torch.Tensor)` [CausalLMOutputWithPast](/docs/transformers/main/ar/main_classes/output#transformers.modeling_outputs.CausalLMOutputWithPast) أو مجموعة من `torch.Tensor` (إذا تم تمرير `return_dict=False` أو عندما يكون `config.return_dict=False`) تتكون من عناصر مختلفة اعتماداً على الإعداد ([Qwen2_5OmniConfig](/docs/transformers/main/ar/model_doc/qwen2_5_omni#transformers.Qwen2_5OmniConfig)) والمدخلات. تتجاوز طريقة [Qwen2_5OmniThinkerForConditionalGeneration](/docs/transformers/main/ar/model_doc/qwen2_5_omni#transformers.Qwen2_5OmniThinkerForConditionalGeneration) الخاصة بالتقديم (forward) الطريقة الخاصة `__call__`. على الرغم من أنه يجب تعريف وصفة المرور الأمامي داخل هذه الدالة، إلا أنه ينبغي استدعاء كائن `Module` بدلاً من هذه الدالة، لأن الكائن يتولى تنفيذ خطوات المعالجة المسبقة والمعالجة اللاحقة، بينما تتجاهل الدالة هذه الخطوات بصمت. - **loss** (`torch.Tensor` من الشكل `(1,)`، *اختياري*، يُعاد عند توفير `labels`) -- خسارة نمذجة اللغة (لتوقع الرمز التالي). - **logits** (`torch.Tensor` من الشكل `(batch_size, sequence_length, config.vocab_size)`) -- درجات التنبؤ لرأس نمذجة اللغة (درجات لكل رمز في المفردات قبل SoftMax). - **past_key_values** (`Cache`، *اختياري*، يُعاد عند تمرير `use_cache=True` أو عند تعيين `config.use_cache=True`) -- هو كائن من نوع [Cache](/docs/transformers/main/ar/internal/generation_utils#transformers.Cache). لمزيد من التفاصيل، راجع [دليل ذاكرة kv](https://huggingface.co/docs/transformers/en/kv_cache). تحتوي على حالات مخفية محسوبة مسبقًا (المفاتيح والقيم في كتل الانتباه الذاتي) يمكن استخدامها (انظر مدخل `past_key_values`) لتسريع فك الترميز التسلسلي. - **hidden_states** (`tuple(torch.Tensor)`، *اختياري*، يُعاد عند تمرير `output_hidden_states=True` أو عند تعيين `config.output_hidden_states=True`) -- مجموعة من `torch.Tensor` (واحدة لمخرجات التضمينات، إذا كان النموذج يحتوي على طبقة تضمين، + واحدة لمخرجات كل طبقة) بأبعاد `(batch_size, sequence_length, hidden_size)`. حالات النموذج المخفية عند مخرج كل طبقة بالإضافة إلى مخرجات التضمين الأولي الاختيارية. - **attentions** (`tuple(torch.Tensor)`، *اختياري*، يُعاد عند تمرير `output_attentions=True` أو عند تعيين `config.output_attentions=True`) -- مجموعة من `torch.Tensor` (واحدة لكل طبقة) بأبعاد `(batch_size, num_heads, sequence_length, sequence_length)`. أوزان الانتباه بعد تطبيق دالة softmax على الانتباه، وتُستخدم لحساب المتوسط الموزون في رؤوس الانتباه الذاتي. مثال: ```python >>> from transformers import Qwen2_5OmniProcessor, Qwen2_5OmniThinkerForConditionalGeneration >>> thinker = Qwen2_5OmniThinkerForConditionalGeneration.from_pretrained("Qwen/Qwen2.5-Omni-7B") >>> processor = Qwen2_5OmniProcessor.from_pretrained("Qwen/Qwen2.5-Omni-7B") >>> conversations = [ >>> {'role': 'system', 'content': 'You are a helpful voice chat bot, and please respond to me in a casual conversation manner using random voice.'}, >>> {"role": "user", "content": [ >>> {"type": "image", "image": "https://www.ilankelman.org/stopsigns/australia.jpg"}, >>> {"type": "audio", "audio": "https://huggingface.co/datasets/hf-internal-testing/transformers-synthetic-assets/resolve/main/audio/glass_breaking.mp3"}, >>> ]}, >>> ] >>> inputs = processor.apply_chat_template( conversations, tokenize=True, add_generation_prompt=True, return_dict=True, return_tensors="pt" ) >>> # Generate >>> generation = thinker.generate(**inputs, max_new_tokens=2048) >>> generate_ids = generation[:, inputs.input_ids.size(1):] >>> response = processor.batch_decode(generate_ids, skip_special_tokens=True, clean_up_tokenization_spaces=False)[0] ``` #### get_audio_features[[transformers.Qwen2_5OmniThinkerForConditionalGeneration.get_audio_features]] ```python get_audio_features(input_features: Tensor, feature_attention_mask: typing.Optional[torch.LongTensor] = None, audio_feature_lengths: typing.Optional[torch.LongTensor] = None, **kwargs: *) ``` [المصدر](https://github.com/huggingface/transformers/blob/main/src/transformers/models/qwen2_5_omni/modeling_qwen2_5_omni.py#L1999) **المعاملات:** input_features (`torch.Tensor`) : الموترات المقابلة لتسجيلات الصوت المدخلة. feature_attention_mask (`torch.LongTensor`، *اختياري*) : قناع لتجنب تنفيذ الانتباه على فهارس الميزات المعبأة. قيم القناع المختارة في `[0, 1]`: audio_feature_lengths (`torch.LongTensor` من الشكل `(num_audios)`، *اختياري*) : طول شكل الميزات لكل صوت في نموذج LLM. **يعيد:** [BaseModelOutputWithPooling](/docs/transformers/main/ar/main_classes/output#transformers.modeling_outputs.BaseModelOutputWithPooling) أو `tuple(torch.Tensor)` [BaseModelOutputWithPooling](/docs/transformers/main/ar/main_classes/output#transformers.modeling_outputs.BaseModelOutputWithPooling) أو مجموعة من `torch.Tensor` (إذا تم تمرير `return_dict=False` أو عندما يكون `config.return_dict=False`) تتكون من عناصر مختلفة اعتماداً على الإعداد ([Qwen2_5OmniConfig](/docs/transformers/main/ar/model_doc/qwen2_5_omni#transformers.Qwen2_5OmniConfig)) والمدخلات. - **last_hidden_state** (`torch.Tensor` من الشكل `(batch_size, sequence_length, hidden_size)`) -- تسلسل من حالات الإخفاء (hidden-states) عند مخرج الطبقة الأخيرة من النموذج. - **pooler_output** (`torch.Tensor` من الشكل `(batch_size, hidden_size)`) -- حالة الطبقة المخفية الأخيرة للرمز الأول في التسلسل (رمز التصنيف) بعد المعالجة الإضافية عبر الطبقات المستخدمة في مهمة ما قبل التدريب المساعدة. على سبيل المثال، بالنسبة لعائلة نماذج BERT، تُرجع هذه الخاصية رمز التصنيف بعد معالجته عبر طبقة خطية ودالة تفعيل tanh. يتم تدريب أوزان الطبقة الخطية من هدف التنبؤ بالجملة التالية (التصنيف) أثناء ما قبل التدريب. - **hidden_states** (`tuple(torch.Tensor)`، *اختياري*، يُعاد عند تمرير `output_hidden_states=True` أو عند تعيين `config.output_hidden_states=True`) -- مجموعة من `torch.Tensor` (واحدة لمخرجات التضمينات، إذا كان النموذج يحتوي على طبقة تضمين، + واحدة لمخرجات كل طبقة) بأبعاد `(batch_size, sequence_length, hidden_size)`. حالات النموذج المخفية عند مخرج كل طبقة بالإضافة إلى مخرجات التضمين الأولي الاختيارية. - **attentions** (`tuple(torch.Tensor)`، *اختياري*، يُعاد عند تمرير `output_attentions=True` أو عند تعيين `config.output_attentions=True`) -- مجموعة من `torch.Tensor` (واحدة لكل طبقة) بأبعاد `(batch_size, num_heads, sequence_length, sequence_length)`. أوزان الانتباه بعد تطبيق دالة softmax على الانتباه، وتُستخدم لحساب المتوسط الموزون في رؤوس الانتباه الذاتي. مثال: ```python >>> from PIL import Image >>> from transformers import AutoProcessor, Qwen2_5OmniThinkerForConditionalGeneration >>> model = Qwen2_5OmniThinkerForConditionalGeneration.from_pretrained("Qwen/Qwen2.5-Omni-7B") >>> processor = AutoProcessor.from_pretrained("Qwen/Qwen2.5-Omni-7B") >>> messages = [ ... { ... "role": "user", "content": [ ... {"type": "image", "url": "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/pipeline-cat-chonk.jpeg"}, ... {"type": "text", "text": "Where is the cat standing?"}, ... ] ... }, ... ] >>> inputs = processor.apply_chat_template( ... messages, ... tokenize=True, ... return_dict=True, ... return_tensors="pt", ... add_generation_prompt=True ... ) >>> # Generate >>> generate_ids = model.generate(**inputs) >>> processor.batch_decode(generate_ids, skip_special_tokens=True)[0] ``` #### get_image_features[[transformers.Qwen2_5OmniThinkerForConditionalGeneration.get_image_features]] ```python get_image_features(pixel_values: Tensor, image_grid_thw: typing.Optional[torch.LongTensor] = None, **kwargs: *) ``` [المصدر](https://github.com/huggingface/transformers/blob/main/src/transformers/models/qwen2_5_omni/modeling_qwen2_5_omni.py#L1986) **المعاملات:** pixel_values (`torch.Tensor` بأبعاد `(batch_size, num_channels, image_size, image_size)`) : المصفوفات المقابلة للصور المدخلة. image_grid_thw (`torch.LongTensor` من الشكل `(num_images, 3)`، *اختياري*) : الزمن والارتفاع والعرض لشكل الميزات لكل صورة في LLM. **يعيد:** [BaseModelOutputWithPooling](/docs/transformers/main/ar/main_classes/output#transformers.modeling_outputs.BaseModelOutputWithPooling) أو `tuple(torch.Tensor)` [BaseModelOutputWithPooling](/docs/transformers/main/ar/main_classes/output#transformers.modeling_outputs.BaseModelOutputWithPooling) أو مجموعة من `torch.Tensor` (إذا تم تمرير `return_dict=False` أو عندما يكون `config.return_dict=False`) تتكون من عناصر مختلفة اعتماداً على الإعداد ([Qwen2_5OmniConfig](/docs/transformers/main/ar/model_doc/qwen2_5_omni#transformers.Qwen2_5OmniConfig)) والمدخلات. - **last_hidden_state** (`torch.Tensor` من الشكل `(batch_size, sequence_length, hidden_size)`) -- تسلسل من حالات الإخفاء (hidden-states) عند مخرج الطبقة الأخيرة من النموذج. - **pooler_output** (`torch.Tensor` من الشكل `(batch_size, hidden_size)`) -- حالة الطبقة المخفية الأخيرة للرمز الأول في التسلسل (رمز التصنيف) بعد المعالجة الإضافية عبر الطبقات المستخدمة في مهمة ما قبل التدريب المساعدة. على سبيل المثال، بالنسبة لعائلة نماذج BERT، تُرجع هذه الخاصية رمز التصنيف بعد معالجته عبر طبقة خطية ودالة تفعيل tanh. يتم تدريب أوزان الطبقة الخطية من هدف التنبؤ بالجملة التالية (التصنيف) أثناء ما قبل التدريب. - **hidden_states** (`tuple(torch.Tensor)`، *اختياري*، يُعاد عند تمرير `output_hidden_states=True` أو عند تعيين `config.output_hidden_states=True`) -- مجموعة من `torch.Tensor` (واحدة لمخرجات التضمينات، إذا كان النموذج يحتوي على طبقة تضمين، + واحدة لمخرجات كل طبقة) بأبعاد `(batch_size, sequence_length, hidden_size)`. حالات النموذج المخفية عند مخرج كل طبقة بالإضافة إلى مخرجات التضمين الأولي الاختيارية. - **attentions** (`tuple(torch.Tensor)`، *اختياري*، يُعاد عند تمرير `output_attentions=True` أو عند تعيين `config.output_attentions=True`) -- مجموعة من `torch.Tensor` (واحدة لكل طبقة) بأبعاد `(batch_size, num_heads, sequence_length, sequence_length)`. أوزان الانتباه بعد تطبيق دالة softmax على الانتباه، وتُستخدم لحساب المتوسط الموزون في رؤوس الانتباه الذاتي. مثال: ```python >>> from PIL import Image >>> from transformers import AutoProcessor, Qwen2_5OmniThinkerForConditionalGeneration >>> model = Qwen2_5OmniThinkerForConditionalGeneration.from_pretrained("Qwen/Qwen2.5-Omni-7B") >>> processor = AutoProcessor.from_pretrained("Qwen/Qwen2.5-Omni-7B") >>> messages = [ ... { ... "role": "user", "content": [ ... {"type": "image", "url": "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/pipeline-cat-chonk.jpeg"}, ... {"type": "text", "text": "Where is the cat standing?"}, ... ] ... }, ... ] >>> inputs = processor.apply_chat_template( ... messages, ... tokenize=True, ... return_dict=True, ... return_tensors="pt", ... add_generation_prompt=True ... ) >>> # Generate >>> generate_ids = model.generate(**inputs) >>> processor.batch_decode(generate_ids, skip_special_tokens=True)[0] ``` #### get_video_features[[transformers.Qwen2_5OmniThinkerForConditionalGeneration.get_video_features]] ```python get_video_features(pixel_values_videos: Tensor, video_grid_thw: typing.Optional[torch.LongTensor] = None, **kwargs: *) ``` [المصدر](https://github.com/huggingface/transformers/blob/main/src/transformers/models/qwen2_5_omni/modeling_qwen2_5_omni.py#L1973) **المعاملات:** pixel_values_videos (`torch.Tensor` من الشكل `(batch_size, num_channels, image_size, image_size)`) : المصفوفات المتناظرة مع مقاطع الفيديو المدخلة. video_grid_thw (`torch.LongTensor` من الشكل `(num_videos, 3)`، *اختياري*) : الأبعاد الزمنية والارتفاع والعرض لشكل الميزات لكل فيديو في LLM. **يعيد:** [BaseModelOutputWithPooling](/docs/transformers/main/ar/main_classes/output#transformers.modeling_outputs.BaseModelOutputWithPooling) أو `tuple(torch.Tensor)` [BaseModelOutputWithPooling](/docs/transformers/main/ar/main_classes/output#transformers.modeling_outputs.BaseModelOutputWithPooling) أو مجموعة من `torch.Tensor` (إذا تم تمرير `return_dict=False` أو عندما يكون `config.return_dict=False`) تتكون من عناصر مختلفة اعتماداً على الإعداد ([Qwen2_5OmniConfig](/docs/transformers/main/ar/model_doc/qwen2_5_omni#transformers.Qwen2_5OmniConfig)) والمدخلات. - **last_hidden_state** (`torch.Tensor` من الشكل `(batch_size, sequence_length, hidden_size)`) -- تسلسل من حالات الإخفاء (hidden-states) عند مخرج الطبقة الأخيرة من النموذج. - **pooler_output** (`torch.Tensor` من الشكل `(batch_size, hidden_size)`) -- حالة الطبقة المخفية الأخيرة للرمز الأول في التسلسل (رمز التصنيف) بعد المعالجة الإضافية عبر الطبقات المستخدمة في مهمة ما قبل التدريب المساعدة. على سبيل المثال، بالنسبة لعائلة نماذج BERT، تُرجع هذه الخاصية رمز التصنيف بعد معالجته عبر طبقة خطية ودالة تفعيل tanh. يتم تدريب أوزان الطبقة الخطية من هدف التنبؤ بالجملة التالية (التصنيف) أثناء ما قبل التدريب. - **hidden_states** (`tuple(torch.Tensor)`، *اختياري*، يُعاد عند تمرير `output_hidden_states=True` أو عند تعيين `config.output_hidden_states=True`) -- مجموعة من `torch.Tensor` (واحدة لمخرجات التضمينات، إذا كان النموذج يحتوي على طبقة تضمين، + واحدة لمخرجات كل طبقة) بأبعاد `(batch_size, sequence_length, hidden_size)`. حالات النموذج المخفية عند مخرج كل طبقة بالإضافة إلى مخرجات التضمين الأولي الاختيارية. - **attentions** (`tuple(torch.Tensor)`، *اختياري*، يُعاد عند تمرير `output_attentions=True` أو عند تعيين `config.output_attentions=True`) -- مجموعة من `torch.Tensor` (واحدة لكل طبقة) بأبعاد `(batch_size, num_heads, sequence_length, sequence_length)`. أوزان الانتباه بعد تطبيق دالة softmax على الانتباه، وتُستخدم لحساب المتوسط الموزون في رؤوس الانتباه الذاتي. مثال: ```python >>> from PIL import Image >>> from transformers import AutoProcessor, Qwen2_5OmniThinkerForConditionalGeneration >>> model = Qwen2_5OmniThinkerForConditionalGeneration.from_pretrained("Qwen/Qwen2.5-Omni-7B") >>> processor = AutoProcessor.from_pretrained("Qwen/Qwen2.5-Omni-7B") >>> messages = [ ... { ... "role": "user", "content": [ ... {"type": "image", "url": "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/pipeline-cat-chonk.jpeg"}, ... {"type": "text", "text": "Where is the cat standing?"}, ... ] ... }, ... ] >>> inputs = processor.apply_chat_template( ... messages, ... tokenize=True, ... return_dict=True, ... return_tensors="pt", ... add_generation_prompt=True ... ) >>> # Generate >>> generate_ids = model.generate(**inputs) >>> processor.batch_decode(generate_ids, skip_special_tokens=True)[0] ``` ## Qwen2_5OmniThinkerTextModel[[transformers.Qwen2_5OmniThinkerTextModel]] #### transformers.Qwen2_5OmniThinkerTextModel[[transformers.Qwen2_5OmniThinkerTextModel]] ```python transformers.Qwen2_5OmniThinkerTextModel(config: Qwen2_5OmniTextConfig) ``` [المصدر](https://github.com/huggingface/transformers/blob/main/src/transformers/models/qwen2_5_omni/modeling_qwen2_5_omni.py#L1548) **المعاملات:** config ([Qwen2_5OmniTextConfig](/docs/transformers/main/ar/model_doc/qwen2_5_omni#transformers.Qwen2_5OmniTextConfig)) : فئة إعدادات النموذج التي تحتوي على جميع معاملات النموذج. عند التهيئة باستخدام ملف إعدادات، لا يتم تحميل الأوزان المرتبطة بالنموذج، بل الإعدادات فقط. راجع طريقة [from_pretrained()](/docs/transformers/main/ar/main_classes/model#transformers.PreTrainedModel.from_pretrained) لتحميل أوزان النموذج. نموذج Qwen2 5 Omni Text الأساسي الذي يُخرج حالات مخفية خام دون أي رأس محدد في الأعلى. يرث هذا النموذج من [PreTrainedModel](/docs/transformers/main/ar/main_classes/model#transformers.PreTrainedModel). راجع توثيق الفئة الأصلية لمعرفة الطرق العامة التي تنفذها المكتبة لجميع نماذجها (مثل التنزيل أو الحفظ، وتغيير حجم تضمينات الإدخال، وقص الرؤوس، وما إلى ذلك). هذا النموذج هو أيضاً فئة فرعية من [torch.nn.Module](https://pytorch.org/docs/stable/nn.html#torch.nn.Module) في PyTorch. استخدمه كوحدة PyTorch عادية، وارجع إلى توثيق PyTorch لكل ما يتعلق بالاستخدام العام والسلوك. #### forward[[transformers.Qwen2_5OmniThinkerTextModel.forward]] ```python forward(input_ids: typing.Optional[torch.LongTensor] = None, attention_mask: typing.Optional[torch.Tensor] = None, position_ids: typing.Optional[torch.LongTensor] = None, past_key_values: transformers.cache_utils.Cache | None = None, inputs_embeds: typing.Optional[torch.Tensor] = None, use_cache: bool | None = None, **kwargs: *) ``` [المصدر](https://github.com/huggingface/transformers/blob/main/src/transformers/models/qwen2_5_omni/modeling_qwen2_5_omni.py#L1575) **المعاملات:** input_ids (`torch.LongTensor` من الشكل `(batch_size, sequence_length)`، *اختياري*) : فهارس رموز تسلسل الإدخال في قاموس الكلمات. سيتم تجاهل الحشو افتراضيًا. يمكن الحصول على الفهارس باستخدام [AutoTokenizer](/docs/transformers/main/ar/model_doc/auto#transformers.AutoTokenizer). راجع [PreTrainedTokenizer.encode()](/docs/transformers/main/ar/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.encode) و [PreTrainedTokenizer.__call__()](/docs/transformers/main/ar/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.__call__) للتفاصيل. [ما هي معرّفات الإدخال؟](../glossary#input-ids) attention_mask (`torch.Tensor` من الشكل `(batch_size, sequence_length)`، *اختياري*) : قناع لتجنب تنفيذ الانتباه على فهارس رموز الحشو. قيم القناع المختارة من `[0, 1]`: - 1 للرموز التي **ليست مقنّعة**، - 0 للرموز التي **مقنّعة**. [ما هي أقنعة الانتباه؟](../glossary#attention-mask) position_ids (`torch.LongTensor` من الشكل `(batch_size, sequence_length)`، *اختياري*) : فهارس مواضع رموز كل تسلسل إدخال في تضمينات المواضع. يتم اختيارها من النطاق `[0, config.n_positions - 1]`. [ما هي معرّفات المواضع؟](../glossary#position-ids) past_key_values (`~cache_utils.Cache`، *اختياري*) : حالات مخفية محسوبة مسبقًا (المفاتيح والقيم في كتل الانتباه الذاتي وكتل الانتباه المتقاطع) يمكن استخدامها لتسريع فك الترميز التسلسلي. يتكوّن هذا عادةً من `past_key_values` التي يعيدها النموذج في مرحلة سابقة من فك الترميز، عندما يكون `use_cache=True` أو `config.use_cache=True`. يُسمح فقط بتمرير كائن [Cache](/docs/transformers/main/ar/internal/generation_utils#transformers.Cache) كمدخل، راجع [دليل ذاكرة kv](https://huggingface.co/docs/transformers/en/kv_cache). إذا لم يتم تمرير `past_key_values`، فسيتم تهيئة [DynamicCache](/docs/transformers/main/ar/internal/generation_utils#transformers.DynamicCache) افتراضيًا. سيُخرج النموذج نفس تنسيق الذاكرة المؤقتة المُدخل. إذا تم استخدام `past_key_values`، يُتوقع من المستخدم إدخال `input_ids` غير المعالجة فقط (تلك التي لم تُعطَ حالات مفاتيح وقيم سابقة لها في هذا النموذج) بأبعاد `(batch_size, unprocessed_length)` بدلاً من جميع `input_ids` بأبعاد `(batch_size, sequence_length)`. inputs_embeds (`torch.Tensor` من الشكل `(batch_size, sequence_length, hidden_size)`، *اختياري*) : بدلاً من تمرير `input_ids`، يمكنك اختيار تمرير تمثيل مضمّن مباشرةً. هذا مفيد إذا كنت ترغب في الحصول على مزيد من التحكم في كيفية تحويل فهارس `input_ids` إلى المتجهات المرتبطة بها، مقارنةً بمصفوفة البحث المضمّنة الداخلية للنموذج. use_cache (`bool`، *اختياري*) : إذا تم ضبطه على `True`، تُعاد حالات المفاتيح والقيم `past_key_values` ويمكن استخدامها لتسريع فك الترميز (انظر `past_key_values`). **يعيد:** [BaseModelOutputWithPast](/docs/transformers/main/ar/main_classes/output#transformers.modeling_outputs.BaseModelOutputWithPast) أو `tuple(torch.Tensor)` [BaseModelOutputWithPast](/docs/transformers/main/ar/main_classes/output#transformers.modeling_outputs.BaseModelOutputWithPast) أو مجموعة من `torch.Tensor` (إذا تم تمرير `return_dict=False` أو عندما يكون `config.return_dict=False`) تتكون من عناصر مختلفة اعتماداً على الإعداد ([Qwen2_5OmniConfig](/docs/transformers/main/ar/model_doc/qwen2_5_omni#transformers.Qwen2_5OmniConfig)) والمدخلات. تتجاوز طريقة [Qwen2_5OmniThinkerTextModel](/docs/transformers/main/ar/model_doc/qwen2_5_omni#transformers.Qwen2_5OmniThinkerTextModel) الخاصة بالتقديم (forward) الطريقة الخاصة `__call__`. على الرغم من أنه يجب تعريف وصفة المرور الأمامي داخل هذه الدالة، إلا أنه ينبغي استدعاء كائن `Module` بدلاً من هذه الدالة، لأن الكائن يتولى تنفيذ خطوات المعالجة المسبقة والمعالجة اللاحقة، بينما تتجاهل الدالة هذه الخطوات بصمت. - **last_hidden_state** (`torch.Tensor` من الشكل `(batch_size, sequence_length, hidden_size)`) -- تسلسل من حالات الإخفاء (hidden-states) عند مخرج الطبقة الأخيرة من النموذج. إذا تم استخدام `past_key_values`، فإن الحالة المخفية الأخيرة فقط من التسلسلات ذات الشكل `(batch_size, 1, hidden_size)` هي التي تُخرج. - **past_key_values** (`Cache`، *اختياري*، يُعاد عند تمرير `use_cache=True` أو عند تعيين `config.use_cache=True`) -- هو كائن من نوع [Cache](/docs/transformers/main/ar/internal/generation_utils#transformers.Cache). لمزيد من التفاصيل، راجع [دليل ذاكرة kv](https://huggingface.co/docs/transformers/en/kv_cache). تحتوي على حالات مخفية محسوبة مسبقًا (المفاتيح والقيم في كتل الانتباه الذاتي، وفي كتل الانتباه المتقاطع اختياريًا إذا كان `config.is_encoder_decoder=True`) يمكن استخدامها (انظر مدخل `past_key_values`) لتسريع فك الترميز التسلسلي. - **hidden_states** (`tuple(torch.Tensor)`، *اختياري*، يُعاد عند تمرير `output_hidden_states=True` أو عند تعيين `config.output_hidden_states=True`) -- مجموعة من `torch.Tensor` (واحدة لمخرجات التضمينات، إذا كان النموذج يحتوي على طبقة تضمين، + واحدة لمخرجات كل طبقة) بأبعاد `(batch_size, sequence_length, hidden_size)`. حالات النموذج المخفية عند مخرج كل طبقة بالإضافة إلى مخرجات التضمين الأولي الاختيارية. - **attentions** (`tuple(torch.Tensor)`، *اختياري*، يُعاد عند تمرير `output_attentions=True` أو عند تعيين `config.output_attentions=True`) -- مجموعة من `torch.Tensor` (واحدة لكل طبقة) بأبعاد `(batch_size, num_heads, sequence_length, sequence_length)`. أوزان الانتباه بعد تطبيق دالة softmax على الانتباه، وتُستخدم لحساب المتوسط الموزون في رؤوس الانتباه الذاتي. ## Qwen2_5OmniTalkerConfig[[transformers.Qwen2_5OmniTalkerConfig]] #### transformers.Qwen2_5OmniTalkerConfig[[transformers.Qwen2_5OmniTalkerConfig]] ```python transformers.Qwen2_5OmniTalkerConfig(transformers_version: str | None = None, architectures: list[str] | None = None, output_hidden_states: bool | None = False, return_dict: bool | None = True, dtype: str | torch.dtype | None = None, chunk_size_feed_forward: int = 0, is_encoder_decoder: bool = False, id2label: dict[int, str] | dict[str, str] | None = None, label2id: dict[str, int] | dict[str, str] | None = None, problem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = None, audio_token_index: int = 151646, image_token_index: int = 151655, video_token_index: int = 151656, vocab_size: int = 8448, tts_text_start_token_id: int = 151860, tts_text_end_token_id: int = 151861, tts_text_pad_token_id: int = 151859, tts_codec_start_token_id: int = 8293, tts_codec_end_token_id: int = 8294, tts_codec_pad_token_id: int = 8292, tts_codec_mask_token_id: int = 8296, vision_start_token_id: int = 151652, vision_end_token_id: int = 151653, embedding_size: int = 3584, hidden_size: int = 3584, intermediate_size: int = 18944, num_hidden_layers: int = 28, num_attention_heads: int = 28, num_key_value_heads: int = 4, hidden_act: str = 'silu', max_position_embeddings: int = 32768, rms_norm_eps: float = 1e-06, head_dim: int = 128, use_cache: bool = True, tie_word_embeddings: bool = False, use_sliding_window: bool = False, sliding_window: int | None = 32768, max_window_layers: int = 28, attention_dropout: float | int = 0.0, rope_parameters: transformers.modeling_rope_utils.RopeParameters | dict | None = None, position_id_per_seconds: int = 25, seconds_per_chunk: int = 2, audio_start_token_id: int = 151647, audio_end_token_id: int = 151648, initializer_range: float = 0.02, spatial_merge_size: int = 2, layer_types: list[str] | None = None, pad_token_id: int | None = None) ``` [المصدر](https://github.com/huggingface/transformers/blob/main/src/transformers/models/qwen2_5_omni/configuration_qwen2_5_omni.py#L278) **المعاملات:** audio_token_index (`int`، *اختياري*، القيمة الافتراضية `151646`) : فهرس رمز الصوت المستخدم كحقل محجوز للصوت المُدخل. image_token_index (`int`، *اختياري*، القيمة الافتراضية `151655`) : فهرس رمز الصورة المستخدم كحقل محجوز للصور المدخلة. video_token_index (`int`، *اختياري*، القيمة الافتراضية `151656`) : فهرس رمز الفيديو المستخدم كحقل محجوز للفيديوهات المدخلة. vocab_size (`int`، *اختياري*، القيمة الافتراضية `8448`) : حجم مفردات النموذج. يحدد عدد الرموز المختلفة التي يمكن تمثيلها بواسطة `input_ids`. tts_text_start_token_id (`int`، *اختياري*، القيمة الافتراضية 151860) : فهرس رمز بداية نص tts لتشفير بداية نص tts. tts_text_end_token_id (`int`، *اختياري*، القيمة الافتراضية 151861) : فهرس رمز نهاية نص tts لتشفير نهاية نص tts. tts_text_pad_token_id (`int`، *اختياري*، القيمة الافتراضية 151859) : فهرس رمز تعبئة نص tts لتشفير تعبئة نص tts. tts_codec_start_token_id (`int`، *اختياري*، القيمة الافتراضية 8293) : فهرس رمز بداية ترميز tts لتشفير بداية tts codec. tts_codec_end_token_id (`int`، *اختياري*، القيمة الافتراضية 8294) : فهرس رمز نهاية ترميز tts لتشفير نهاية tts codec. tts_codec_pad_token_id (`int`، *اختياري*، القيمة الافتراضية 8292) : فهرس رمز التعبئة (pad token) الخاص بترميز tts codec لتشفير التعبئة (pad) في tts codec. tts_codec_mask_token_id (`int`، *اختياري*، القيمة الافتراضية 8296) : فهرس رمز قناع tts codec لتشفير قناع tts codec. vision_start_token_id (`int`، *اختياري*، القيمة الافتراضية `151652`) : معرّف الرمز الذي يحدد بداية المقطع البصري في تسلسل الإدخال متعدد الوسائط. vision_end_token_id (`int`، *اختياري*، القيمة الافتراضية `151653`) : معرّف الرمز الذي يحدد نهاية المقطع البصري في تسلسل الإدخال متعدد الوسائط. embedding_size (`int`، *اختياري*، القيمة الافتراضية `3584`) : بُعد التضمينات والحالات المخفية. hidden_size (`int`، *اختياري*، القيمة الافتراضية `3584`) : بُعد التمثيلات المخفية. intermediate_size (`int`، *اختياري*، القيمة الافتراضية `18944`) : بُعد تمثيلات MLP. num_hidden_layers (`int`، *اختياري*، القيمة الافتراضية `28`) : عدد الطبقات المخفية في مُفكِّك Transformer. num_attention_heads (`int`، *اختياري*، القيمة الافتراضية `28`) : عدد رؤوس الانتباه لكل طبقة انتباه في مُفكِّك Transformer. num_key_value_heads (`int`، *اختياري*، القيمة الافتراضية `4`) : هذا هو عدد رؤوس key_value التي يجب استخدامها لتنفيذ Grouped Query Attention. إذا كان `num_key_value_heads=num_attention_heads`، فسيستخدم النموذج Multi Head Attention (MHA)، وإذا كان `num_key_value_heads=1` فسيستخدم النموذج Multi Query Attention (MQA)، وإلا فسيتم استخدام GQA. عند تحويل نقطة تحقق متعددة الرؤوس إلى نقطة تحقق GQA، يجب بناء كل مجموعة من رؤوس key و value عن طريق meanpooling جميع الرؤوس الأصلية داخل تلك المجموعة. لمزيد من التفاصيل، راجع [هذا الورق](https://huggingface.co/papers/2305.13245). إذا لم يتم تحديد القيمة، فستكون القيمة الافتراضية هي `num_attention_heads`. hidden_act (`str`، *اختياري*، القيمة الافتراضية `silu`) : دالة التنشيط غير الخطية (دالة أو نص) في المُفكِّك. على سبيل المثال، `"gelu"`، `"relu"`، `"silu"`، وما إلى ذلك. max_position_embeddings (`int`، *اختياري*، الافتراضي هو `32768`) : أقصى طول تسلسل قد يُستخدم به هذا النموذج. rms_norm_eps (`float`، *اختياري*، القيمة الافتراضية `1e-06`) : قيمة الإيبسلون المستخدمة في طبقات تطبيع rms. head_dim (`int`، *اختياري*، القيمة الافتراضية `128`) : بُعد رأس الانتباه. إذا كانت القيمة None، فستكون القيمة الافتراضية هي hidden_size // num_attention_heads use_cache (`bool`، *اختياري*، القيمة الافتراضية `True`) : ما إذا كان يجب على النموذج إرجاع قيم المفاتيح/القيم الأخيرة للانتباه (لا تستخدمها جميع النماذج). لا ينطبق إلا إذا كان `config.is_decoder=True` أو عندما يكون النموذج نموذجًا توليديًا يعتمد على المُفكِّك فقط. tie_word_embeddings (`bool`، *اختياري*، القيمة الافتراضية `False`) : ما إذا كان يجب ربط ترميزات الأوزان وفقاً لخريطة `tied_weights_keys` الخاصة بالنموذج. use_sliding_window (`bool`، *اختياري*، الافتراضي `False`) : ما إذا كان سيتم استخدام الانتباه بنافذة منزلقة. sliding_window (`int`، *اختياري*، القيمة الافتراضية `32768`) : حجم نافذة الانتباه ذات النافذة المنزلقة. إذا كانت `None`، فلا تُطبَّق نافذة منزلقة. max_window_layers (`int`، *اختياري*، القيمة الافتراضية `28`) : عدد الطبقات التي تستخدم الانتباه الكامل. ستستخدم أول `max_window_layers` طبقات الانتباه الكامل، بينما ستستخدم أي طبقة إضافية بعد ذلك الانتباه النافذي المنزلق (SWA). attention_dropout (`Union[float, int]`، *اختياري*، القيمة الافتراضية `0.0`) : نسبة الإسقاط (dropout) لاحتمالات الانتباه. rope_parameters (`Union[~modeling_rope_utils.RopeParameters, dict]`، *اختياري*) : قاموس يحتوي على معاملات التهيئة الخاصة بتضمينات RoPE. يجب أن يحتوي القاموس على قيمة لـ `rope_theta`، وبشكل اختياري معاملات تُستخدم للتوسيع في حال رغبتَ في استخدام RoPE مع `max_position_embeddings` أطول. position_id_per_seconds (`int`، *اختياري*، القيمة الافتراضية 25) : مقدار زيادة معرّف الموضع في الثانية. seconds_per_chunk (`int`، *اختياري*، القيمة الافتراضية 2) : المدة بالثواني للقطعة من بيانات الصوت والفيديو. audio_start_token_id (`int`، *اختياري*، القيمة الافتراضية 151647) : فهرس رمز بداية الصوت لتشفير موجه الصوت. audio_end_token_id (`int`، *اختياري*، القيمة الافتراضية 151648) : فهرس رمز نهاية الصوت لتشفير موجه الصوت. initializer_range (`float`، *اختياري*، القيمة الافتراضية `0.02`) : الانحراف المعياري لـ truncated_normal_initializer المستخدم في تهيئة جميع مصفوفات الأوزان. spatial_merge_size (`int`، *اختياري*، القيمة الافتراضية `2`) : حجم نافذة الدمج المكاني المستخدمة لتقليل عدد الرموز البصرية عن طريق دمج الباتشات المجاورة. layer_types (`list[str]`، *اختياري*) : قائمة تُقرن صراحةً كل فهرس طبقة بنوعها. إذا لم تُقدَّم، فسيتم توليدها تلقائيًا بناءً على قيم الإعداد. pad_token_id (`int`, *اختياري*) : معرّف الرمز (Token id) المستخدم للتعبئة (padding) في المفردات. هذه فئة الإعدادات المخزنة لإعدادات نموذج Qwen2 5 OmniModel. تُستخدم لاستحداث نموذج Qwen2 5 Omni وفقًا للحجج المحددة، مع تعريف بنية النموذج. إن استحداث إعدادات باستخدام القيم الافتراضية سيؤدي إلى إعدادات مشابهة لتلك الخاصة بـ [Qwen/Qwen2.5-Omni-7B](https://huggingface.co/Qwen/Qwen2.5-Omni-7B) ترث كائنات الإعداد من [PreTrainedConfig](/docs/transformers/main/ar/main_classes/configuration#transformers.PreTrainedConfig) ويمكن استخدامها للتحكم في مخرجات النموذج. اقرأ التوثيق الخاص بـ [PreTrainedConfig](/docs/transformers/main/ar/main_classes/configuration#transformers.PreTrainedConfig) لمزيد من المعلومات. مثال: ```python >>> from transformers import Qwen2_5OmniTalkerForConditionalGeneration, Qwen2_5OmniThinkerConfig, Qwen2_5OmniAudioEncoderConfig, Qwen2_5OmniVisionEncoderConfig >>> # Initializing a Qwen2_5OmniAudioEncoder config >>> audio_config = Qwen2_5OmniAudioEncoderConfig() >>> # Initializing a Qwen2 config >>> text_config = Qwen2Config() >>> # Initializing a Qwen2_5Omni configuration >>> configuration = Qwen2_5OmniThinkerConfig(audio_config, text_config) >>> # Initializing a model from the qwen2-audio style configuration >>> model = Qwen2_5OmniTalkerForConditionalGeneration(configuration) >>> # Accessing the model configuration >>> configuration = model.config ``` ## Qwen2_5OmniTalkerForConditionalGeneration[[transformers.Qwen2_5OmniTalkerForConditionalGeneration]] #### transformers.Qwen2_5OmniTalkerForConditionalGeneration[[transformers.Qwen2_5OmniTalkerForConditionalGeneration]] ```python transformers.Qwen2_5OmniTalkerForConditionalGeneration(config: Qwen2_5OmniTalkerConfig) ``` [المصدر](https://github.com/huggingface/transformers/blob/main/src/transformers/models/qwen2_5_omni/modeling_qwen2_5_omni.py#L2300) #### forward[[transformers.Qwen2_5OmniTalkerForConditionalGeneration.forward]] ```python forward(input_ids: typing.Optional[torch.LongTensor] = None, attention_mask: typing.Optional[torch.Tensor] = None, position_ids: typing.Optional[torch.LongTensor] = None, past_key_values: transformers.cache_utils.Cache | None = None, thinker_reply_part: typing.Optional[torch.Tensor] = None, inputs_embeds: typing.Optional[torch.Tensor] = None, use_cache: bool | None = None, input_text_ids: typing.Optional[torch.LongTensor] = None, image_grid_thw: typing.Optional[torch.LongTensor] = None, video_grid_thw: typing.Optional[torch.LongTensor] = None, use_audio_in_video: bool | None = None, audio_feature_lengths: typing.Optional[torch.LongTensor] = None, video_second_per_grid: typing.Optional[torch.LongTensor] = None, **kwargs) ``` [المصدر](https://github.com/huggingface/transformers/blob/main/src/transformers/models/qwen2_5_omni/modeling_qwen2_5_omni.py#L2334) **المعاملات:** input_ids (`torch.LongTensor` من الشكل `(batch_size, sequence_length)`، *اختياري*) : فهارس رموز تسلسل الإدخال في قاموس الكلمات. سيتم تجاهل الحشو افتراضيًا. يمكن الحصول على الفهارس باستخدام [AutoTokenizer](/docs/transformers/main/ar/model_doc/auto#transformers.AutoTokenizer). راجع [PreTrainedTokenizer.encode()](/docs/transformers/main/ar/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.encode) و [PreTrainedTokenizer.__call__()](/docs/transformers/main/ar/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.__call__) للتفاصيل. [ما هي معرّفات الإدخال؟](../glossary#input-ids) attention_mask (`torch.Tensor` من الشكل `(batch_size, sequence_length)`، *اختياري*) : قناع لتجنب تنفيذ الانتباه على فهارس رموز الحشو. قيم القناع المختارة من `[0, 1]`: - 1 للرموز التي **ليست مقنّعة**، - 0 للرموز التي **مقنّعة**. [ما هي أقنعة الانتباه؟](../glossary#attention-mask) position_ids (`torch.LongTensor` من الشكل `(batch_size, sequence_length)`، *اختياري*) : فهارس مواضع رموز كل تسلسل إدخال في تضمينات المواضع. يتم اختيارها من النطاق `[0, config.n_positions - 1]`. [ما هي معرّفات المواضع؟](../glossary#position-ids) past_key_values (`~cache_utils.Cache`، *اختياري*) : حالات مخفية محسوبة مسبقًا (المفاتيح والقيم في كتل الانتباه الذاتي وكتل الانتباه المتقاطع) يمكن استخدامها لتسريع فك الترميز التسلسلي. يتكوّن هذا عادةً من `past_key_values` التي يعيدها النموذج في مرحلة سابقة من فك الترميز، عندما يكون `use_cache=True` أو `config.use_cache=True`. يُسمح فقط بتمرير كائن [Cache](/docs/transformers/main/ar/internal/generation_utils#transformers.Cache) كمدخل، راجع [دليل ذاكرة kv](https://huggingface.co/docs/transformers/en/kv_cache). إذا لم يتم تمرير `past_key_values`، فسيتم تهيئة [DynamicCache](/docs/transformers/main/ar/internal/generation_utils#transformers.DynamicCache) افتراضيًا. سيُخرج النموذج نفس تنسيق الذاكرة المؤقتة المُدخل. إذا تم استخدام `past_key_values`، يُتوقع من المستخدم إدخال `input_ids` غير المعالجة فقط (تلك التي لم تُعطَ حالات مفاتيح وقيم سابقة لها في هذا النموذج) بأبعاد `(batch_size, unprocessed_length)` بدلاً من جميع `input_ids` بأبعاد `(batch_size, sequence_length)`. thinker_reply_part (`torch.Tensor` من الشكل `(batch_size, sequence_length, hidden_size)`، *اختياري*) : حالات مخفية من مخرجات نموذج المفكر تمثل جزء الرد النصي الذي سيتم معالجته. inputs_embeds (`torch.Tensor` من الشكل `(batch_size, sequence_length, hidden_size)`، *اختياري*) : بدلاً من تمرير `input_ids`، يمكنك اختيار تمرير تمثيل مضمّن مباشرةً. هذا مفيد إذا كنت ترغب في الحصول على مزيد من التحكم في كيفية تحويل فهارس `input_ids` إلى المتجهات المرتبطة بها، مقارنةً بمصفوفة البحث المضمّنة الداخلية للنموذج. use_cache (`bool`، *اختياري*) : إذا تم ضبطه على `True`، تُعاد حالات المفاتيح والقيم `past_key_values` ويمكن استخدامها لتسريع فك الترميز (انظر `past_key_values`). input_text_ids (`torch.LongTensor` من الشكل `(batch_size, sequence_length)`، *اختياري*) : معرّفات الرموز المدخلة للمحتوى النصي فقط، وتُستخدم لحساب المواقع في السياقات متعددة الوسائط. image_grid_thw (`torch.LongTensor` من الشكل `(num_images, 3)`، *اختياري*) : الزمن والارتفاع والعرض لشكل الميزات لكل صورة في LLM. video_grid_thw (`torch.LongTensor` من الشكل `(num_videos, 3)`، *اختياري*) : الأبعاد الزمنية والارتفاع والعرض لشكل الميزات لكل فيديو في LLM. use_audio_in_video (`bool`، *اختياري*) : ما إذا كان سيتم استخدام المسار الصوتي في الفيديو، ويجب أن يكون مطابقًا للمعامل في `process_audio_info`. audio_feature_lengths (`torch.LongTensor` من الشكل `(num_audios)`، *اختياري*) : طول شكل الميزات لكل صوت في نموذج LLM. video_second_per_grid (`torch.LongTensor` من الشكل `(num_videos)`، *اختياري*) : عدد الثواني لكل شبكة لكل فيديو، يُستخدم للتمثيل الزمني للميزات. **يعيد:** `Qwen2_5OmniTalkerCausalLMOutputWithPast` أو `tuple(torch.Tensor)` `Qwen2_5OmniTalkerCausalLMOutputWithPast` أو مجموعة من `torch.Tensor` (إذا تم تمرير `return_dict=False` أو عندما يكون `config.return_dict=False`) وتتضمن عناصر مختلفة اعتماداً على الإعداد ([Qwen2_5OmniConfig](/docs/transformers/main/ar/model_doc/qwen2_5_omni#transformers.Qwen2_5OmniConfig)) والمدخلات. تتجاوز طريقة [Qwen2_5OmniTalkerForConditionalGeneration](/docs/transformers/main/ar/model_doc/qwen2_5_omni#transformers.Qwen2_5OmniTalkerForConditionalGeneration) الخاصة بالتقديم (forward) الطريقة الخاصة `__call__`. على الرغم من أنه يجب تعريف وصفة المرور الأمامي داخل هذه الدالة، إلا أنه ينبغي استدعاء كائن `Module` بدلاً من هذه الدالة، لأن الكائن يتولى تنفيذ خطوات المعالجة المسبقة والمعالجة اللاحقة، بينما تتجاهل الدالة هذه الخطوات بصمت. - **loss** (`torch.Tensor` من الشكل `(1,)`، *اختياري*، يُعاد عند توفير `labels`) -- خسارة نمذجة اللغة (لتوقع الرمز التالي). - **logits** (`torch.Tensor` من الشكل `(batch_size, sequence_length, config.vocab_size)`) -- درجات التنبؤ لرأس نمذجة اللغة (درجات لكل رمز في المفردات قبل SoftMax). - **past_key_values** (`Cache`، *اختياري*، يُعاد عند تمرير `use_cache=True` أو عند تعيين `config.use_cache=True`) -- هو كائن من نوع [Cache](/docs/transformers/main/ar/internal/generation_utils#transformers.Cache). لمزيد من التفاصيل، راجع [دليل ذاكرة kv](https://huggingface.co/docs/transformers/en/kv_cache). تحتوي على حالات مخفية محسوبة مسبقًا (المفاتيح والقيم في كتل الانتباه الذاتي) يمكن استخدامها (انظر مدخل `past_key_values`) لتسريع فك الترميز التسلسلي. - **hidden_states** (`tuple(torch.Tensor)`، *اختياري*، يُعاد عند تمرير `output_hidden_states=True` أو عند تعيين `config.output_hidden_states=True`) -- مجموعة من `torch.Tensor` (واحدة لمخرجات التضمينات، إذا كان النموذج يحتوي على طبقة تضمين، + واحدة لمخرجات كل طبقة) بأبعاد `(batch_size, sequence_length, hidden_size)`. حالات النموذج المخفية عند مخرج كل طبقة بالإضافة إلى مخرجات التضمين الأولي الاختيارية. - **attentions** (`tuple(torch.Tensor)`، *اختياري*، يُعاد عند تمرير `output_attentions=True` أو عند تعيين `config.output_attentions=True`) -- مجموعة من `torch.Tensor` (واحدة لكل طبقة) بأبعاد `(batch_size, num_heads, sequence_length, sequence_length)`. أوزان الانتباه بعد تطبيق دالة softmax على الانتباه، وتُستخدم لحساب المتوسط الموزون في رؤوس الانتباه الذاتي. - **thinker_reply_part** (`torch.Tensor` من الشكل `(batch_size, sequence_length, hidden_size)`) -- حالات مخفية من نموذج thinker تُستخدم كمدخلات لنموذج talker. تمثل هذه الحالات الاستجابة المُرمّزة التي سيقوم نموذج talker باستخدامها لتوليد رموز الكلام. مثال: ```python >>> from io import BytesIO >>> from urllib.request import urlopen >>> import librosa >>> from transformers import AutoProcessor, Qwen2_5OmniTalkerForConditionalGeneration >>> model = Qwen2_5OmniTalkerForConditionalGeneration.from_pretrained("Qwen/Qwen2-Audio-7B") >>> processor = AutoProcessor.from_pretrained("Qwen/Qwen2-Audio-7B") >>> prompt = "<|audio_bos|><|AUDIO|><|audio_eos|>Generate the caption in English:" >>> url = "https://huggingface.co/datasets/hf-internal-testing/transformers-synthetic-assets/resolve/main/audio/glass_breaking.mp3" >>> audio, _ = librosa.load(BytesIO(urlopen(url).read()), sr=self.processor.feature_extractor.sampling_rate) >>> inputs = processor(text=prompt, audio=audio, return_tensors="pt") >>> # Generate >>> generate_ids = model.generate(**inputs, max_length=30) >>> processor.batch_decode(generate_ids, skip_special_tokens=True, clean_up_tokenization_spaces=False)[0] "Generate the caption in English: Glass is breaking." ``` ## Qwen2_5OmniTalkerModel[[transformers.Qwen2_5OmniTalkerModel]] #### transformers.Qwen2_5OmniTalkerModel[[transformers.Qwen2_5OmniTalkerModel]] ```python transformers.Qwen2_5OmniTalkerModel(config: Qwen2_5OmniTalkerConfig) ``` [المصدر](https://github.com/huggingface/transformers/blob/main/src/transformers/models/qwen2_5_omni/modeling_qwen2_5_omni.py#L2185) **المعاملات:** config ([Qwen2_5OmniTalkerConfig](/docs/transformers/main/ar/model_doc/qwen2_5_omni#transformers.Qwen2_5OmniTalkerConfig)) : فئة إعدادات النموذج التي تحتوي على جميع معاملات النموذج. عند التهيئة باستخدام ملف إعدادات، لا يتم تحميل الأوزان المرتبطة بالنموذج، بل الإعدادات فقط. راجع طريقة [from_pretrained()](/docs/transformers/main/ar/main_classes/model#transformers.PreTrainedModel.from_pretrained) لتحميل أوزان النموذج. نموذج Qwen2 5 Omni الأساسي الذي يُخرج حالات مخفية خام دون أي رأس محدد في الأعلى. يرث هذا النموذج من [PreTrainedModel](/docs/transformers/main/ar/main_classes/model#transformers.PreTrainedModel). راجع توثيق الفئة الأصلية لمعرفة الطرق العامة التي تنفذها المكتبة لجميع نماذجها (مثل التنزيل أو الحفظ، وتغيير حجم تضمينات الإدخال، وقص الرؤوس، وما إلى ذلك). هذا النموذج هو أيضاً فئة فرعية من [torch.nn.Module](https://pytorch.org/docs/stable/nn.html#torch.nn.Module) في PyTorch. استخدمه كوحدة PyTorch عادية، وارجع إلى توثيق PyTorch لكل ما يتعلق بالاستخدام العام والسلوك. #### forward[[transformers.Qwen2_5OmniTalkerModel.forward]] ```python forward(input_ids: typing.Optional[torch.LongTensor] = None, attention_mask: typing.Optional[torch.Tensor] = None, position_ids: typing.Optional[torch.LongTensor] = None, past_key_values: transformers.cache_utils.Cache | None = None, inputs_embeds: typing.Optional[torch.Tensor] = None, use_cache: bool | None = None, **kwargs: *) ``` [المصدر](https://github.com/huggingface/transformers/blob/main/src/transformers/models/qwen2_5_omni/modeling_qwen2_5_omni.py#L2212) **المعاملات:** input_ids (`torch.LongTensor` من الشكل `(batch_size, sequence_length)`، *اختياري*) : فهارس رموز تسلسل الإدخال في قاموس الكلمات. سيتم تجاهل الحشو افتراضيًا. يمكن الحصول على الفهارس باستخدام [AutoTokenizer](/docs/transformers/main/ar/model_doc/auto#transformers.AutoTokenizer). راجع [PreTrainedTokenizer.encode()](/docs/transformers/main/ar/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.encode) و [PreTrainedTokenizer.__call__()](/docs/transformers/main/ar/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.__call__) للتفاصيل. [ما هي معرّفات الإدخال؟](../glossary#input-ids) attention_mask (`torch.Tensor` من الشكل `(batch_size, sequence_length)`، *اختياري*) : قناع لتجنب تنفيذ الانتباه على فهارس رموز الحشو. قيم القناع المختارة من `[0, 1]`: - 1 للرموز التي **ليست مقنّعة**، - 0 للرموز التي **مقنّعة**. [ما هي أقنعة الانتباه؟](../glossary#attention-mask) position_ids (`torch.LongTensor` من الشكل `(batch_size, sequence_length)`، *اختياري*) : فهارس مواضع رموز كل تسلسل إدخال في تضمينات المواضع. يتم اختيارها من النطاق `[0, config.n_positions - 1]`. [ما هي معرّفات المواضع؟](../glossary#position-ids) past_key_values (`~cache_utils.Cache`، *اختياري*) : حالات مخفية محسوبة مسبقًا (المفاتيح والقيم في كتل الانتباه الذاتي وكتل الانتباه المتقاطع) يمكن استخدامها لتسريع فك الترميز التسلسلي. يتكوّن هذا عادةً من `past_key_values` التي يعيدها النموذج في مرحلة سابقة من فك الترميز، عندما يكون `use_cache=True` أو `config.use_cache=True`. يُسمح فقط بتمرير كائن [Cache](/docs/transformers/main/ar/internal/generation_utils#transformers.Cache) كمدخل، راجع [دليل ذاكرة kv](https://huggingface.co/docs/transformers/en/kv_cache). إذا لم يتم تمرير `past_key_values`، فسيتم تهيئة [DynamicCache](/docs/transformers/main/ar/internal/generation_utils#transformers.DynamicCache) افتراضيًا. سيُخرج النموذج نفس تنسيق الذاكرة المؤقتة المُدخل. إذا تم استخدام `past_key_values`، يُتوقع من المستخدم إدخال `input_ids` غير المعالجة فقط (تلك التي لم تُعطَ حالات مفاتيح وقيم سابقة لها في هذا النموذج) بأبعاد `(batch_size, unprocessed_length)` بدلاً من جميع `input_ids` بأبعاد `(batch_size, sequence_length)`. inputs_embeds (`torch.Tensor` من الشكل `(batch_size, sequence_length, hidden_size)`، *اختياري*) : بدلاً من تمرير `input_ids`، يمكنك اختيار تمرير تمثيل مضمّن مباشرةً. هذا مفيد إذا كنت ترغب في الحصول على مزيد من التحكم في كيفية تحويل فهارس `input_ids` إلى المتجهات المرتبطة بها، مقارنةً بمصفوفة البحث المضمّنة الداخلية للنموذج. use_cache (`bool`، *اختياري*) : إذا تم ضبطه على `True`، تُعاد حالات المفاتيح والقيم `past_key_values` ويمكن استخدامها لتسريع فك الترميز (انظر `past_key_values`). **يعيد:** [BaseModelOutputWithPast](/docs/transformers/main/ar/main_classes/output#transformers.modeling_outputs.BaseModelOutputWithPast) أو `tuple(torch.Tensor)` [BaseModelOutputWithPast](/docs/transformers/main/ar/main_classes/output#transformers.modeling_outputs.BaseModelOutputWithPast) أو مجموعة من `torch.Tensor` (إذا تم تمرير `return_dict=False` أو عندما يكون `config.return_dict=False`) تتكون من عناصر مختلفة اعتماداً على الإعداد ([Qwen2_5OmniConfig](/docs/transformers/main/ar/model_doc/qwen2_5_omni#transformers.Qwen2_5OmniConfig)) والمدخلات. تتجاوز طريقة [Qwen2_5OmniTalkerModel](/docs/transformers/main/ar/model_doc/qwen2_5_omni#transformers.Qwen2_5OmniTalkerModel) الخاصة بالتقديم (forward) الطريقة الخاصة `__call__`. على الرغم من أنه يجب تعريف وصفة المرور الأمامي داخل هذه الدالة، إلا أنه ينبغي استدعاء كائن `Module` بدلاً من هذه الدالة، لأن الكائن يتولى تنفيذ خطوات المعالجة المسبقة والمعالجة اللاحقة، بينما تتجاهل الدالة هذه الخطوات بصمت. - **last_hidden_state** (`torch.Tensor` من الشكل `(batch_size, sequence_length, hidden_size)`) -- تسلسل من حالات الإخفاء (hidden-states) عند مخرج الطبقة الأخيرة من النموذج. إذا تم استخدام `past_key_values`، فإن الحالة المخفية الأخيرة فقط من التسلسلات ذات الشكل `(batch_size, 1, hidden_size)` هي التي تُخرج. - **past_key_values** (`Cache`، *اختياري*، يُعاد عند تمرير `use_cache=True` أو عند تعيين `config.use_cache=True`) -- هو كائن من نوع [Cache](/docs/transformers/main/ar/internal/generation_utils#transformers.Cache). لمزيد من التفاصيل، راجع [دليل ذاكرة kv](https://huggingface.co/docs/transformers/en/kv_cache). تحتوي على حالات مخفية محسوبة مسبقًا (المفاتيح والقيم في كتل الانتباه الذاتي، وفي كتل الانتباه المتقاطع اختياريًا إذا كان `config.is_encoder_decoder=True`) يمكن استخدامها (انظر مدخل `past_key_values`) لتسريع فك الترميز التسلسلي. - **hidden_states** (`tuple(torch.Tensor)`، *اختياري*، يُعاد عند تمرير `output_hidden_states=True` أو عند تعيين `config.output_hidden_states=True`) -- مجموعة من `torch.Tensor` (واحدة لمخرجات التضمينات، إذا كان النموذج يحتوي على طبقة تضمين، + واحدة لمخرجات كل طبقة) بأبعاد `(batch_size, sequence_length, hidden_size)`. حالات النموذج المخفية عند مخرج كل طبقة بالإضافة إلى مخرجات التضمين الأولي الاختيارية. - **attentions** (`tuple(torch.Tensor)`، *اختياري*، يُعاد عند تمرير `output_attentions=True` أو عند تعيين `config.output_attentions=True`) -- مجموعة من `torch.Tensor` (واحدة لكل طبقة) بأبعاد `(batch_size, num_heads, sequence_length, sequence_length)`. أوزان الانتباه بعد تطبيق دالة softmax على الانتباه، وتُستخدم لحساب المتوسط الموزون في رؤوس الانتباه الذاتي. ## Qwen2_5OmniToken2WavConfig[[transformers.Qwen2_5OmniToken2WavConfig]] #### transformers.Qwen2_5OmniToken2WavConfig[[transformers.Qwen2_5OmniToken2WavConfig]] ```python transformers.Qwen2_5OmniToken2WavConfig(transformers_version: str | None = None, architectures: list[str] | None = None, output_hidden_states: bool | None = False, return_dict: bool | None = True, dtype: str | torch.dtype | None = None, chunk_size_feed_forward: int = 0, is_encoder_decoder: bool = False, id2label: dict[int, str] | dict[str, str] | None = None, label2id: dict[str, int] | dict[str, str] | None = None, problem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = None, dit_config: dict | transformers.configuration_utils.PreTrainedConfig | None = None, bigvgan_config: dict | transformers.configuration_utils.PreTrainedConfig | None = None) ``` [المصدر](https://github.com/huggingface/transformers/blob/main/src/transformers/models/qwen2_5_omni/configuration_qwen2_5_omni.py#L484) **المعاملات:** dit_config (`DiT_Args`، *اختياري*) : فئة التهيئة الخاصة بوحدة تحويل الانتشار (DiT) المسؤولة عن توليد مطيقات الميّل. bigvgan_config (`BigVGAN_Args`، *اختياري*) : فئة التهيئة الخاصة بوحدة BigVGAN المسؤولة عن تحويل مطيافات الميل إلى موجات صوتية. هذه فئة الإعدادات المخزنة لإعدادات نموذج Qwen2 5 OmniModel. تُستخدم لاستحداث نموذج Qwen2 5 Omni وفقًا للحجج المحددة، مع تعريف بنية النموذج. إن استحداث إعدادات باستخدام القيم الافتراضية سيؤدي إلى إعدادات مشابهة لتلك الخاصة بـ [Qwen/Qwen2.5-Omni-7B](https://huggingface.co/Qwen/Qwen2.5-Omni-7B) ترث كائنات الإعداد من [PreTrainedConfig](/docs/transformers/main/ar/main_classes/configuration#transformers.PreTrainedConfig) ويمكن استخدامها للتحكم في مخرجات النموذج. اقرأ التوثيق الخاص بـ [PreTrainedConfig](/docs/transformers/main/ar/main_classes/configuration#transformers.PreTrainedConfig) لمزيد من المعلومات. مثال: ```python >>> from transformers import Qwen2_5OmniToken2WavModel, DiT_Args, BigVGAN_Args >>> # Initialize DiT configuration >>> dit_config = DiT_Args( ... dim=1024, ... depth=22, ... heads=16, ... ff_mult=2 ... ) >>> # Initialize BigVGAN configuration >>> bigvgan_config = BigVGAN_Args( ... mel_dim=80, ... upsample_rates=[5,3,2,2,2,2] ... ) >>> # Initialize main configuration >>> config = Qwen2_5OmniToken2WavConfig(dit_config, bigvgan_config) >>> # Initialize model with config >>> model = Qwen2_5OmniToken2Wav(config) >>> # Accessing the model configuration >>> configuration = model.config ``` ## Qwen2_5OmniToken2WavModel[[transformers.Qwen2_5OmniToken2WavModel]] #### transformers.Qwen2_5OmniToken2WavModel[[transformers.Qwen2_5OmniToken2WavModel]] ```python transformers.Qwen2_5OmniToken2WavModel(config: Qwen2_5OmniToken2WavConfig) ``` [المصدر](https://github.com/huggingface/transformers/blob/main/src/transformers/models/qwen2_5_omni/modeling_qwen2_5_omni.py#L3646) **المعاملات:** config ([Qwen2_5OmniToken2WavConfig](/docs/transformers/main/ar/model_doc/qwen2_5_omni#transformers.Qwen2_5OmniToken2WavConfig)) : فئة إعدادات النموذج التي تحتوي على جميع معاملات النموذج. عند التهيئة باستخدام ملف إعدادات، لا يتم تحميل الأوزان المرتبطة بالنموذج، بل الإعدادات فقط. راجع طريقة [from_pretrained()](/docs/transformers/main/ar/main_classes/model#transformers.PreTrainedModel.from_pretrained) لتحميل أوزان النموذج. نموذج Qwen2.5Omni Token2Wav الكامل. يتكوّن من نموذج DiT يستقبل رموز الكلام كمدخلات ويتنبأ بطيف الميّل، ومُصنِّع BigVGAN يستقبل طيف الميّل كمدخلات ويتنبأ بالموجة الصوتية. يرث هذا النموذج من [PreTrainedModel](/docs/transformers/main/ar/main_classes/model#transformers.PreTrainedModel). راجع توثيق الفئة الأصلية لمعرفة الطرق العامة التي تنفذها المكتبة لجميع نماذجها (مثل التنزيل أو الحفظ، وتغيير حجم تضمينات الإدخال، وقص الرؤوس، وما إلى ذلك). هذا النموذج هو أيضاً فئة فرعية من [torch.nn.Module](https://pytorch.org/docs/stable/nn.html#torch.nn.Module) في PyTorch. استخدمه كوحدة PyTorch عادية، وارجع إلى توثيق PyTorch لكل ما يتعلق بالاستخدام العام والسلوك. #### forward[[transformers.Qwen2_5OmniToken2WavModel.forward]] ```python forward(code, conditioning, reference_mel, num_steps = 10, guidance_scale = 0.5, sway_coefficient = -1.0, **kwargs) ``` [المصدر](https://github.com/huggingface/transformers/blob/main/src/transformers/models/qwen2_5_omni/modeling_qwen2_5_omni.py#L3675) يولّد موجة صوتية من رمز الإدخال ومعلمات التكييف. ## Qwen2_5OmniToken2WavDiTModel[[transformers.Qwen2_5OmniToken2WavDiTModel]] #### transformers.Qwen2_5OmniToken2WavDiTModel[[transformers.Qwen2_5OmniToken2WavDiTModel]] ```python transformers.Qwen2_5OmniToken2WavDiTModel(config: Qwen2_5OmniDiTConfig) ``` [المصدر](https://github.com/huggingface/transformers/blob/main/src/transformers/models/qwen2_5_omni/modeling_qwen2_5_omni.py#L3475) **المعاملات:** config ([Qwen2_5OmniDiTConfig](/docs/transformers/main/ar/model_doc/qwen2_5_omni#transformers.Qwen2_5OmniDiTConfig)) : فئة إعدادات النموذج التي تحتوي على جميع معاملات النموذج. عند التهيئة باستخدام ملف إعدادات، لا يتم تحميل الأوزان المرتبطة بالنموذج، بل الإعدادات فقط. راجع طريقة [from_pretrained()](/docs/transformers/main/ar/main_classes/model#transformers.PreTrainedModel.from_pretrained) لتحميل أوزان النموذج. نموذج Qwen2.5Omni Token2WavDiT الكامل. وهو يستقبل رموز الكلام كمدخلات ويتنبأ بمطياف ميل. يرث هذا النموذج من [PreTrainedModel](/docs/transformers/main/ar/main_classes/model#transformers.PreTrainedModel). راجع توثيق الفئة الأصلية لمعرفة الطرق العامة التي تنفذها المكتبة لجميع نماذجها (مثل التنزيل أو الحفظ، وتغيير حجم تضمينات الإدخال، وقص الرؤوس، وما إلى ذلك). هذا النموذج هو أيضاً فئة فرعية من [torch.nn.Module](https://pytorch.org/docs/stable/nn.html#torch.nn.Module) في PyTorch. استخدمه كوحدة PyTorch عادية، وارجع إلى توثيق PyTorch لكل ما يتعلق بالاستخدام العام والسلوك. ## Qwen2_5OmniToken2WavBigVGANModel[[transformers.Qwen2_5OmniToken2WavBigVGANModel]] #### transformers.Qwen2_5OmniToken2WavBigVGANModel[[transformers.Qwen2_5OmniToken2WavBigVGANModel]] ```python transformers.Qwen2_5OmniToken2WavBigVGANModel(config: Qwen2_5OmniBigVGANConfig) ``` [المصدر](https://github.com/huggingface/transformers/blob/main/src/transformers/models/qwen2_5_omni/modeling_qwen2_5_omni.py#L3337) **المعاملات:** config ([Qwen2_5OmniBigVGANConfig](/docs/transformers/main/ar/model_doc/qwen2_5_omni#transformers.Qwen2_5OmniBigVGANConfig)) : فئة إعدادات النموذج التي تحتوي على جميع معاملات النموذج. عند التهيئة باستخدام ملف إعدادات، لا يتم تحميل الأوزان المرتبطة بالنموذج، بل الإعدادات فقط. راجع طريقة [from_pretrained()](/docs/transformers/main/ar/main_classes/model#transformers.PreTrainedModel.from_pretrained) لتحميل أوزان النموذج. نموذج Qwen2.5Omni Token2WavBigVGAN الكامل. الذي يستقبل طيف الميّل (mel spectrogram) كمدخل ويتنبأ بالموجة (waveform). يرث هذا النموذج من [PreTrainedModel](/docs/transformers/main/ar/main_classes/model#transformers.PreTrainedModel). راجع توثيق الفئة الأصلية لمعرفة الطرق العامة التي تنفذها المكتبة لجميع نماذجها (مثل التنزيل أو الحفظ، وتغيير حجم تضمينات الإدخال، وقص الرؤوس، وما إلى ذلك). هذا النموذج هو أيضاً فئة فرعية من [torch.nn.Module](https://pytorch.org/docs/stable/nn.html#torch.nn.Module) في PyTorch. استخدمه كوحدة PyTorch عادية، وارجع إلى توثيق PyTorch لكل ما يتعلق بالاستخدام العام والسلوك.