Transformers documentation

Qwen2-VL

Transformers

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v5.22.1).

Join the Hugging Face community

and get access to the augmented documentation experience

Collaborate on models, datasets and Spaces

Faster examples with accelerated inference

Switch between documentation themes

to get started

نُشر هذا النموذج في أوراق HF في 18 سبتمبر 2024، وسُهم به في Hugging Face Transformers في 26 أغسطس 2024.

Qwen2-VL

نظرة عامة

نموذج Qwen2-VL (المنشور على المدونة) هو تحديث كبير لنموذج Qwen-VL من فريق Qwen في Alibaba Research.

المستخلص من المدونة هو التالي:

يُقدّم هذا المدونة نموذج Qwen2-VL، وهو نسخة متقدمة من نموذج Qwen-VL خضعت لتحسينات جوهرية على مدى العام الماضي. تشمل التحسينات الرئيسية تعزيز فهم الصور، وفهم الفيديو المتقدم، ودمج وظائف الوكيل البصري، وتوسيع الدعم متعدد اللغات. تم تحسين بنية النموذج للتعامل مع دقات الصور الحرة من خلال دعم Naive Dynamic Resolution، ويستخدم Multimodal Rotary Position Embedding (M-ROPE) لمعالجة البيانات النصية أحادية البعد والبيانات البصرية متعددة الأبعاد بفعالية. يُظهر هذا النموذج المحدّث أداءً تنافسياً أمام أنظمة الذكاء الاصطناعي الرائدة مثل GPT-4o وClaude 3.5 Sonnet في المهام المتعلقة بالرؤية، ويحتل مرتبة متقدمة بين النماذج مفتوحة المصدر من حيث القدرات النصية. تجعل هذه التطورات من Qwen2-VL أداة متعددة الاستخدامات لمختلف التطبيقات التي تتطلب معالجة متعددة الوسائط قوية وقدرات استدلال متقدمة.

Qwen2-VL architecture. Taken from the blog post.

تمت مساهمة هذا النموذج من قِبل simonJJJ.

مثال على الاستخدام

استدلال وسائط مفردة

يمكن للنموذج قبول كل من الصور والفيديوهات كمدخلات. فيما يلي مثال على الكود للاستدلال.

from transformers import AutoProcessor, Qwen2VLForConditionalGeneration


# Load the model in half-precision on the available device(s)
model = Qwen2VLForConditionalGeneration.from_pretrained("Qwen/Qwen2-VL-7B-Instruct", device_map="auto")
processor = AutoProcessor.from_pretrained("Qwen/Qwen2-VL-7B-Instruct")


conversation = [
    {
        "role":"user",
        "content":[
            {
                "type":"image",
                "url": "https://huggingface.co/datasets/hf-internal-testing/transformers-synthetic-assets/resolve/main/images/qwen_vl_demo.jpeg"
            },
            {
                "type":"text",
                "text":"Describe this image."
            }
        ]
    }
]

inputs = processor.apply_chat_template(
    conversation,
    add_generation_prompt=True,
    tokenize=True,
    return_dict=True,
    return_tensors="pt"
).to(model.device)

# Inference: Generation of the output
output_ids = model.generate(**inputs, max_new_tokens=128)
generated_ids = [output_ids[len(input_ids):] for input_ids, output_ids in zip(inputs.input_ids, output_ids)]
output_text = processor.batch_decode(generated_ids, skip_special_tokens=True, clean_up_tokenization_spaces=True)
print(output_text)



# Video
conversation = [
    {
        "role": "user",
        "content": [
            {"type": "video", "path": "/path/to/video.mp4"},
            {"type": "text", "text": "What happened in the video?"},
        ],
    }
]

inputs = processor.apply_chat_template(
    conversation,
    fps=1,
    add_generation_prompt=True,
    tokenize=True,
    return_dict=True,
    return_tensors="pt"
).to(model.device)


# Inference: Generation of the output
output_ids = model.generate(**inputs, max_new_tokens=128)
generated_ids = [output_ids[len(input_ids):] for input_ids, output_ids in zip(inputs.input_ids, output_ids)]
output_text = processor.batch_decode(generated_ids, skip_special_tokens=True, clean_up_tokenization_spaces=True)
print(output_text)

الاستدلال على وسائط مختلطة على دفعات

يمكن للنموذج معالجة مجموعات من المدخلات المكوّنة من عينات مختلطة من أنواع مختلفة مثل الصور والفيديوهات والنصوص. إليك مثالاً.


# Conversation for the first image
conversation1 = [
    {
        "role": "user",
        "content": [
            {"type": "image", "path": "/path/to/image1.jpg"},
            {"type": "text", "text": "Describe this image."}
        ]
    }
]

# Conversation with two images
conversation2 = [
    {
        "role": "user",
        "content": [
            {"type": "image", "path": "/path/to/image2.jpg"},
            {"type": "image", "path": "/path/to/image3.jpg"},
            {"type": "text", "text": "What is written in the pictures?"}
        ]
    }
]

# Conversation with pure text
conversation3 = [
    {
        "role": "user",
        "content": "who are you?"
    }
]


# Conversation with mixed media
conversation4 = [
    {
        "role": "user",
        "content": [
            {"type": "image", "path": "/path/to/image3.jpg"},
            {"type": "image", "path": "/path/to/image4.jpg"},
            {"type": "video", "path": "/path/to/video.jpg"},
            {"type": "text", "text": "What are the common elements in these media?"},
        ],
    }
]

conversations = [conversation1, conversation2, conversation3, conversation4]
# Preparation for batch inference
inputs = processor.apply_chat_template(
    conversations,
    fps=1,
    add_generation_prompt=True,
    tokenize=True,
    return_dict=True,
    return_tensors="pt"
).to(model.device)


# Batch Inference
output_ids = model.generate(**inputs, max_new_tokens=128)
generated_ids = [output_ids[len(input_ids):] for input_ids, output_ids in zip(inputs.input_ids, output_ids)]
output_text = processor.batch_decode(generated_ids, skip_special_tokens=True, clean_up_tokenization_spaces=True)
print(output_text)

نصائح للاستخدام

مقايضة دقة الصورة

يدعم النموذج مجموعة واسعة من مدخلات الدقة. افتراضياً، يستخدم الدقة الأصلية للمدخل، لكن الدقات الأعلى يمكن أن تعزز الأداء على حساب زيادة الحسابات. يمكن للمستخدمين تحديد الحد الأدنى والحد الأقصى لعدد البكسلات لتحقيق التهيئة المثالية لاحتياجاتهم.

min_pixels = 224*224
max_pixels = 2048*2048
processor = AutoProcessor.from_pretrained("Qwen/Qwen2-VL-7B-Instruct", min_pixels=min_pixels, max_pixels=max_pixels)

في حالة محدودية ذاكرة GPU، يمكن تقليل الدقة على النحو التالي:

min_pixels = 256*28*28
max_pixels = 1024*28*28
processor = AutoProcessor.from_pretrained("Qwen/Qwen2-VL-7B-Instruct", min_pixels=min_pixels, max_pixels=max_pixels)

يضمن هذا أن يتم ترميز كل صورة باستخدام عدد من الرموز يتراوح بين 256 و1024. يأتي الرقم 28 من حقيقة أن النموذج يستخدم حجم رقعة (patch size) يساوي 14 وحجم رقعة زمني (temporal patch size) يساوي 2 (14 x 2 = 28).

مدخلات صور متعددة

بشكل افتراضي، يتم تضمين الصور ومحتوى الفيديو مباشرةً في المحادثة. عند التعامل مع عدة صور، يُفيد إضافة تسميات للصور والفيديوهات لتسهيل الرجوع إليها. يمكن للمستخدمين التحكم في هذا السلوك من خلال الإعدادات التالية:

conversation = [
    {
        "role": "user",
        "content": [
            {"type": "image"},
            {"type": "text", "text": "Hello, how are you?"}
        ]
    },
    {
        "role": "assistant",
        "content": "I'm doing well, thank you for asking. How can I assist you today?"
    },
    {
        "role": "user",
        "content": [
            {"type": "text", "text": "Can you describe these images and video?"},
            {"type": "image"},
            {"type": "image"},
            {"type": "video"},
            {"type": "text", "text": "These are from my vacation."}
        ]
    },
    {
        "role": "assistant",
        "content": "I'd be happy to describe the images and video for you. Could you please provide more context about your vacation?"
    },
    {
        "role": "user",
        "content": "It was a trip to the mountains. Can you see the details in the images and video?"
    }
]

# default:
prompt_without_id = processor.apply_chat_template(conversation, add_generation_prompt=True)
# Excepted output: '<|im_start|>system\nYou are a helpful assistant.<|im_end|>\n<|im_start|>user\n<|vision_start|><|image_pad|><|vision_end|>Hello, how are you?<|im_end|>\n<|im_start|>assistant\nI'm doing well, thank you for asking. How can I assist you today?<|im_end|>\n<|im_start|>user\nCan you describe these images and video?<|vision_start|><|image_pad|><|vision_end|><|vision_start|><|image_pad|><|vision_end|><|vision_start|><|video_pad|><|vision_end|>These are from my vacation.<|im_end|>\n<|im_start|>assistant\nI'd be happy to describe the images and video for you. Could you please provide more context about your vacation?<|im_end|>\n<|im_start|>user\nIt was a trip to the mountains. Can you see the details in the images and video?<|im_end|>\n<|im_start|>assistant\n'


# add ids
prompt_with_id = processor.apply_chat_template(conversation, add_generation_prompt=True, add_vision_id=True)
# Excepted output: '<|im_start|>system\nYou are a helpful assistant.<|im_end|>\n<|im_start|>user\nPicture 1: <|vision_start|><|image_pad|><|vision_end|>Hello, how are you?<|im_end|>\n<|im_start|>assistant\nI'm doing well, thank you for asking. How can I assist you today?<|im_end|>\n<|im_start|>user\nCan you describe these images and video?Picture 2: <|vision_start|><|image_pad|><|vision_end|>Picture 3: <|vision_start|><|image_pad|><|vision_end|>Video 1: <|vision_start|><|video_pad|><|vision_end|>These are from my vacation.<|im_end|>\n<|im_start|>assistant\nI'd be happy to describe the images and video for you. Could you please provide more context about your vacation?<|im_end|>\n<|im_start|>user\nIt was a trip to the mountains. Can you see the details in the images and video?<|im_end|>\n<|im_start|>assistant\n'

Flash-Attention 2 لتسريع عملية التوليد

أولاً، تأكد من تثبيت أحدث إصدار من Flash Attention 2:

pip install -U flash-attn --no-build-isolation

كما يجب أن يكون لديك عتاد متوافق مع Flash-Attention 2. اقرأ المزيد حول ذلك في التوثيق الرسمي لـ مستودع flash attention. لا يمكن استخدام FlashAttention-2 إلا عند تحميل النموذج في torch.float16 أو torch.bfloat16.

لتحميل نموذج وتشغيله باستخدام Flash Attention-2، ما عليك سوى إضافة attn_implementation="flash_attention_2" عند تحميل النموذج على النحو التالي:

from transformers import Qwen2VLForConditionalGeneration

model = Qwen2VLForConditionalGeneration.from_pretrained(
    "Qwen/Qwen2-VL-7B-Instruct", 
    attn_implementation="flash_attention_2",
 device_map="auto")

Transformers

Qwen2-VL

نظرة عامة

مثال على الاستخدام

استدلال وسائط مفردة

الاستدلال على وسائط مختلطة على دفعات

نصائح للاستخدام

مقايضة دقة الصورة

مدخلات صور متعددة

Flash-Attention 2 لتسريع عملية التوليد

Qwen2VLConfig

فئة transformers.Qwen2VLConfig

Qwen2VLVisionConfig

فئة transformers.Qwen2VLVisionConfig

Qwen2VLTextConfig

فئة transformers.Qwen2VLTextConfig

Qwen2VLImageProcessor

فئة transformers.Qwen2VLImageProcessor

preprocess

Qwen2VLVideoProcessor

فئة transformers.Qwen2VLVideoProcessor

preprocess

Qwen2VLImageProcessorPil

فئة transformers.Qwen2VLImageProcessorPil

preprocess

Qwen2VLProcessor

فئة transformers.Qwen2VLProcessor

__call__

Qwen2VLTextModel

فئة transformers.Qwen2VLTextModel

forward

Qwen2VLModel

فئة transformers.Qwen2VLModel

forward

get_video_features

get_image_features

Qwen2VLForConditionalGeneration

فئة transformers.Qwen2VLForConditionalGeneration

forward

get_video_features

get_image_features

call