Transformers documentation

Qwen2.5-VL

Transformers

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v5.22.1).

Join the Hugging Face community

and get access to the augmented documentation experience

Collaborate on models, datasets and Spaces

Faster examples with accelerated inference

Switch between documentation themes

to get started

نُشر هذا النموذج في أوراق HF في 19 فبراير 2025، وتمت مساهمته في Hugging Face Transformers في 23 يناير 2025.

Qwen2.5-VL

Qwen2.5-VL هو نموذج لغوي بصري متعدد الوسائط، متوفر بحجم 3B و7B و72B من المعاملات، وقد تم تدريبه مسبقاً على 4.1T رمز. يُقدّم النموذج انتباه النافذة (window attention) في مشفّر ViT لتسريع التدريب والاستدلال، بالإضافة إلى أخذ عينات ديناميكي بمعدل إطارات في الثانية (FPS) على الأبعاد المكانية والزمنية لفهم أفضل للفيديو عبر معدلات أخذ عينات مختلفة، وآلية MRoPE (ترميز موضعي دوّار متعدد الدقة) محسّنة لالتقاط ديناميكيات الزمن وتعلّمها بشكل أفضل.

يمكنك العثور على جميع نقاط التفتيش الأصلية لنموذج Qwen2.5-VL ضمن مجموعة Qwen2.5-VL.

انقر على نماذج Qwen2.5-VL في الشريط الجانبي الأيمن لمزيد من الأمثلة حول كيفية تطبيق Qwen2.5-VL على مهام مختلفة في مجال الرؤية واللغة.

اضبط use_kernels=True في from_pretrained() لاستبدال الطبقات المدعومة بنوى مُحسَّنة من Hub. راجع تحميل النوى لمعرفة المزيد.

يُظهر المثال أدناه كيفية توليد النص بناءً على صورة باستخدام Pipeline أو فئة AutoModel.

خط أنابيب

AutoModel

تقلل عملية التكميم العبء على الذاكرة في النماذج الكبيرة من خلال تمثيل الأوزان بدقة أقل. راجع نظرة عامة على التكميم للاطلاع على المزيد من واجهات التكميم المتاحة.

يستخدم المثال أدناه torchao لاختزال الأوزان إلى int4 فقط.

from transformers import Qwen2_5_VLForConditionalGeneration, TorchAoConfig


quantization_config = TorchAoConfig("int4_weight_only", group_size=128)
model = Qwen2_5_VLForConditionalGeneration.from_pretrained(
    "Qwen/Qwen2.5-VL-7B-Instruct",
    device_map="auto",
    quantization_config=quantization_config
)

ملاحظات

استخدم Qwen2.5-VL للمدخلات المرئية (فيديو) من خلال تعيين "type": "video" كما هو موضح أدناه.

conversation = [
    {
        "role": "user",
        "content": [
            {"type": "video", "path": "/path/to/video.mp4"},
            {"type": "text", "text": "What happened in the video?"},
        ],
    }
]

inputs = processor.apply_chat_template(
    conversation,
    fps=1,
    add_generation_prompt=True,
    tokenize=True,
    return_dict=True,
    return_tensors="pt"
).to(model.device)

# Inference: Generation of the output
output_ids = model.generate(**inputs, max_new_tokens=128)
generated_ids = [output_ids[len(input_ids):] for input_ids, output_ids in zip(inputs.input_ids, output_ids)]
output_text = processor.batch_decode(generated_ids, skip_special_tokens=True, clean_up_tokenization_spaces=True)
print(output_text)

استخدم Qwen2.5-VL لمجموعة مختلطة من المدخلات (صور، مقاطع فيديو، نصوص). أضف التسميات عند التعامل مع عدة صور أو مقاطع فيديو لتحسين المرجعية كما هو موضح أدناه.

import torch
from transformers import Qwen2_5_VLForConditionalGeneration, AutoProcessor

model = Qwen2_5_VLForConditionalGeneration.from_pretrained(
    "Qwen/Qwen2.5-VL-7B-Instruct",
    device_map="auto",
    attn_implementation="sdpa"
)
processor = AutoProcessor.from_pretrained("Qwen/Qwen2.5-VL-7B-Instruct")
conversation = [
    {
        "role": "user",
        "content": [
            {"type": "image"}, 
            {"type": "text", "text": "Hello, how are you?"}
        ]
    },
    {
        "role": "assistant",
        "content": "I'm doing well, thank you for asking. How can I assist you today?"
    },
    {
        "role": "user",
        "content": [
            {"type": "text", "text": "Can you describe these images and video?"}, 
            {"type": "image"}, 
            {"type": "image"}, 
            {"type": "video"}, 
            {"type": "text", "text": "These are from my vacation."}
        ]
    },
    {
        "role": "assistant",
        "content": "I'd be happy to describe the images and video for you. Could you please provide more context about your vacation?"
    },
    {
        "role": "user",
        "content": "It was a trip to the mountains. Can you see the details in the images and video?"
    }
]

# default:
prompt_without_id = processor.apply_chat_template(conversation, add_generation_prompt=True)
# Excepted output: '<|im_start|>system\nYou are a helpful assistant.<|im_end|>\n<|im_start|>user\n<|vision_start|><|image_pad|><|vision_end|>Hello, how are you?<|im_end|>\n<|im_start|>assistant\nI'm doing well, thank you for asking. How can I assist you today?<|im_end|>\n<|im_start|>user\nCan you describe these images and video?<|vision_start|><|image_pad|><|vision_end|><|vision_start|><|image_pad|><|vision_end|><|vision_start|><|video_pad|><|vision_end|>These are from my vacation.<|im_end|>\n<|im_start|>assistant\nI'd be happy to describe the images and video for you. Could you please provide more context about your vacation?<|im_end|>\n<|im_start|>user\nIt was a trip to the mountains. Can you see the details in the images and video?<|im_end|>\n<|im_start|>assistant\n'


# add ids
prompt_with_id = processor.apply_chat_template(conversation, add_generation_prompt=True, add_vision_id=True)
# Excepted output: '<|im_start|>system\nYou are a helpful assistant.<|im_end|>\n<|im_start|>user\nPicture 1: <|vision_start|><|image_pad|><|vision_end|>Hello, how are you?<|im_end|>\n<|im_start|>assistant\nI'm doing well, thank you for asking. How can I assist you today?<|im_end|>\n<|im_start|>user\nCan you describe these images and video?Picture 2: <|vision_start|><|image_pad|><|vision_end|>Picture 3: <|vision_start|><|image_pad|><|vision_end|>Video 1: <|vision_start|><|video_pad|><|vision_end|>These are from my vacation.<|im_end|>\n<|im_start|>assistant\nI'd be happy to describe the images and video for you. Could you please provide more context about your vacation?<|im_end|>\n<|im_start|>user\nIt was a trip to the mountains. Can you see the details in the images and video?<|im_end|>\n<|im_start|>assistant\n'

استخدم معاملي min_pixels وmax_pixels في AutoProcessor لضبط الدقة.

min_pixels = 224*224
max_pixels = 2048*2048
processor = AutoProcessor.from_pretrained("Qwen/Qwen2.5-VL-7B-Instruct", min_pixels=min_pixels, max_pixels=max_pixels)

قد تتطلب الدقة الأعلى قدرات حوسبة أكبر، بينما يمكن أن يؤدي تقليل الدقة إلى توفير الذاكرة على النحو التالي:

min_pixels = 256*28*28
max_pixels = 1024*28*28 
processor = AutoProcessor.from_pretrained("Qwen/Qwen2.5-VL-7B-Instruct", min_pixels=min_pixels, max_pixels=max_pixels)

Transformers

Qwen2.5-VL

ملاحظات

Qwen2_5_VLConfig

فئة transformers.Qwen2_5_VLConfig

Qwen2_5_VLVisionConfig

فئة transformers.Qwen2_5_VLVisionConfig

Qwen2_5_VLTextConfig

فئة transformers.Qwen2_5_VLTextConfig

Qwen2_5_VLProcessor

فئة transformers.Qwen2_5_VLProcessor

__call__

Qwen2_5_VLTextModel

فئة transformers.Qwen2_5_VLTextModel

forward

Qwen2_5_VisionTransformerPretrainedModel

فئة transformers.Qwen2_5_VisionTransformerPretrainedModel

forward

Qwen2_5_VLModel

فئة transformers.Qwen2_5_VLModel

forward

get_video_features

get_image_features

Qwen2_5_VLForConditionalGeneration

فئة transformers.Qwen2_5_VLForConditionalGeneration

forward

get_video_features

get_image_features

call