Transformers documentation

Qwen2.5-VL

Transformers

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v5.22.1).

Join the Hugging Face community

and get access to the augmented documentation experience

Collaborate on models, datasets and Spaces

Faster examples with accelerated inference

Switch between documentation themes

to get started

Este modelo foi publicado em HF papers em 2025-02-19 e contribuído para Hugging Face Transformers em 2025-01-23.

Qwen2.5-VL

Qwen2.5-VL é um modelo multimodal de visão e linguagem, disponível com 3B, 7B e 72B parâmetros, pré-treinado em 4,1T de tokens. O modelo introduz a atenção por janela no codificador ViT para acelerar o treinamento e a inferência, amostragem dinâmica de FPS nas dimensões espacial e temporal para uma melhor compreensão de vídeos em diferentes taxas de amostragem, e um mecanismo aprimorado de MRoPE (codificação posicional rotacional multirresolução) para capturar e aprender melhor as dinâmicas temporais.

Você pode encontrar todos os checkpoints originais do Qwen2.5-VL na coleção Qwen2.5-VL.

Clique nos modelos Qwen2.5-VL na barra lateral à direita para ver mais exemplos de como aplicar o Qwen2.5-VL a diferentes tarefas de visão e linguagem.

Defina use_kernels=True em from_pretrained() para substituir camadas compatíveis por kernels otimizados do Hub. Consulte Carregando kernels para saber mais.

O exemplo abaixo demonstra como gerar texto com base em uma imagem usando Pipeline ou a classe AutoModel.

Pipeline

AutoModel

A quantização reduz a carga de memória de modelos grandes ao representar os pesos em uma precisão menor. Consulte a visão geral de Quantização para mais backends de quantização disponíveis.

O exemplo abaixo usa torchao para quantizar apenas os pesos para int4.

from transformers import Qwen2_5_VLForConditionalGeneration, TorchAoConfig


quantization_config = TorchAoConfig("int4_weight_only", group_size=128)
model = Qwen2_5_VLForConditionalGeneration.from_pretrained(
    "Qwen/Qwen2.5-VL-7B-Instruct",
    device_map="auto",
    quantization_config=quantization_config
)

Observações

Use o Qwen2.5-VL para entradas de vídeo definindo "type": "video", conforme mostrado abaixo.

conversation = [
    {
        "role": "user",
        "content": [
            {"type": "video", "path": "/path/to/video.mp4"},
            {"type": "text", "text": "What happened in the video?"},
        ],
    }
]

inputs = processor.apply_chat_template(
    conversation,
    fps=1,
    add_generation_prompt=True,
    tokenize=True,
    return_dict=True,
    return_tensors="pt"
).to(model.device)

# Inference: Generation of the output
output_ids = model.generate(**inputs, max_new_tokens=128)
generated_ids = [output_ids[len(input_ids):] for input_ids, output_ids in zip(inputs.input_ids, output_ids)]
output_text = processor.batch_decode(generated_ids, skip_special_tokens=True, clean_up_tokenization_spaces=True)
print(output_text)

Use o Qwen2.5-VL para um lote misto de entradas (imagens, vídeos, texto). Adicione rótulos ao lidar com múltiplas imagens ou vídeos para uma melhor referência, conforme mostrado abaixo.

import torch
from transformers import Qwen2_5_VLForConditionalGeneration, AutoProcessor

model = Qwen2_5_VLForConditionalGeneration.from_pretrained(
    "Qwen/Qwen2.5-VL-7B-Instruct",
    device_map="auto",
    attn_implementation="sdpa"
)
processor = AutoProcessor.from_pretrained("Qwen/Qwen2.5-VL-7B-Instruct")
conversation = [
    {
        "role": "user",
        "content": [
            {"type": "image"}, 
            {"type": "text", "text": "Hello, how are you?"}
        ]
    },
    {
        "role": "assistant",
        "content": "I'm doing well, thank you for asking. How can I assist you today?"
    },
    {
        "role": "user",
        "content": [
            {"type": "text", "text": "Can you describe these images and video?"}, 
            {"type": "image"}, 
            {"type": "image"}, 
            {"type": "video"}, 
            {"type": "text", "text": "These are from my vacation."}
        ]
    },
    {
        "role": "assistant",
        "content": "I'd be happy to describe the images and video for you. Could you please provide more context about your vacation?"
    },
    {
        "role": "user",
        "content": "It was a trip to the mountains. Can you see the details in the images and video?"
    }
]

# default:
prompt_without_id = processor.apply_chat_template(conversation, add_generation_prompt=True)
# Excepted output: '<|im_start|>system\nYou are a helpful assistant.<|im_end|>\n<|im_start|>user\n<|vision_start|><|image_pad|><|vision_end|>Hello, how are you?<|im_end|>\n<|im_start|>assistant\nI'm doing well, thank you for asking. How can I assist you today?<|im_end|>\n<|im_start|>user\nCan you describe these images and video?<|vision_start|><|image_pad|><|vision_end|><|vision_start|><|image_pad|><|vision_end|><|vision_start|><|video_pad|><|vision_end|>These are from my vacation.<|im_end|>\n<|im_start|>assistant\nI'd be happy to describe the images and video for you. Could you please provide more context about your vacation?<|im_end|>\n<|im_start|>user\nIt was a trip to the mountains. Can you see the details in the images and video?<|im_end|>\n<|im_start|>assistant\n'


# add ids
prompt_with_id = processor.apply_chat_template(conversation, add_generation_prompt=True, add_vision_id=True)
# Excepted output: '<|im_start|>system\nYou are a helpful assistant.<|im_end|>\n<|im_start|>user\nPicture 1: <|vision_start|><|image_pad|><|vision_end|>Hello, how are you?<|im_end|>\n<|im_start|>assistant\nI'm doing well, thank you for asking. How can I assist you today?<|im_end|>\n<|im_start|>user\nCan you describe these images and video?Picture 2: <|vision_start|><|image_pad|><|vision_end|>Picture 3: <|vision_start|><|image_pad|><|vision_end|>Video 1: <|vision_start|><|video_pad|><|vision_end|>These are from my vacation.<|im_end|>\n<|im_start|>assistant\nI'd be happy to describe the images and video for you. Could you please provide more context about your vacation?<|im_end|>\n<|im_start|>user\nIt was a trip to the mountains. Can you see the details in the images and video?<|im_end|>\n<|im_start|>assistant\n'

Use os parâmetros min_pixels e max_pixels em AutoProcessor para definir a resolução.

min_pixels = 224*224
max_pixels = 2048*2048
processor = AutoProcessor.from_pretrained("Qwen/Qwen2.5-VL-7B-Instruct", min_pixels=min_pixels, max_pixels=max_pixels)

Uma resolução mais alta pode exigir mais capacidade de computação, enquanto a redução da resolução pode economizar memória, conforme descrito a seguir:

min_pixels = 256*28*28
max_pixels = 1024*28*28 
processor = AutoProcessor.from_pretrained("Qwen/Qwen2.5-VL-7B-Instruct", min_pixels=min_pixels, max_pixels=max_pixels)

Transformers

Qwen2.5-VL

Observações

Qwen2_5_VLConfig

classe transformers.Qwen2_5_VLConfig

Qwen2_5_VLVisionConfig

classe transformers.Qwen2_5_VLVisionConfig

Qwen2_5_VLTextConfig

classe transformers.Qwen2_5_VLTextConfig

Qwen2_5_VLProcessor

classe transformers.Qwen2_5_VLProcessor

__call__

Qwen2_5_VLTextModel

classe transformers.Qwen2_5_VLTextModel

forward

Qwen2_5_VisionTransformerPretrainedModel

classe transformers.Qwen2_5_VisionTransformerPretrainedModel

forward

Qwen2_5_VLModel

classe transformers.Qwen2_5_VLModel

forward

get_video_features

get_image_features

Qwen2_5_VLForConditionalGeneration

classe transformers.Qwen2_5_VLForConditionalGeneration

forward

get_video_features

get_image_features

call