Transformers documentation

MusicGen Melody

Transformers

Comece agora

Transformers Instalação Início rápido

Classes base

Modelos

Pré-processadores

Inferência

Pipeline API

API de geração

Otimização

Conversar com modelos

Serving

Treinamento

Comece agora

Personalização

Ajuste fino de parâmetros eficientes

Desempenho

Treinamento distribuído

Hardware

Quantização

Integrações com o ecossistema

Recursos

API

Principais classes

Modelos

Modelos de texto

Modelos de visão

Modelos de áudio

Modelos de vídeo

Modelos multimodais

Modelos de aprendizado por reforço

Modelos de séries temporais

Helpers internos

Referência

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v5.22.2).

Join the Hugging Face community

and get access to the augmented documentation experience

Collaborate on models, datasets and Spaces

Faster examples with accelerated inference

Switch between documentation themes

to get started

Este modelo foi publicado no HF papers em 2023-06-08 e contribuído para o Hugging Face Transformers em 2024-03-18.

MusicGen Melody

Visão geral

O modelo MusicGen Melody foi proposto em Simple and Controllable Music Generation por Jade Copet, Felix Kreuk, Itai Gat, Tal Remez, David Kant, Gabriel Synnaeve, Yossi Adi e Alexandre Défossez.

MusicGen Melody é um modelo Transformer auto-regressivo de estágio único capaz de gerar amostras de música de alta qualidade condicionadas em descrições de texto ou prompts de áudio. As descrições de texto são processadas por um modelo de codificador de texto congelado para obter uma sequência de representações de estado oculto. O MusicGen é então treinado para prever tokens de áudio discretos, ou códigos de áudio, condicionados nesses estados ocultos. Esses tokens de áudio são, em seguida, decodificados usando um modelo de compressão de áudio, como o EnCodec, para recuperar a forma de onda do áudio.

Por meio de um padrão eficiente de intercalamento de tokens, o MusicGen não requer uma representação semântica auto-supervisionada dos prompts de texto/áudio, eliminando assim a necessidade de encadear múltiplos modelos para prever um conjunto de codebooks (por exemplo, de forma hierárquica ou por upsampling). Em vez disso, ele é capaz de gerar todos os codebooks em uma única passagem de frente.

O resumo do artigo é o seguinte:

Abordamos a tarefa de geração condicional de música. Apresentamos o MusicGen, um único Language Model (LM) que opera sobre vários fluxos de representação musical discreta e comprimida, ou seja, tokens. Diferentemente de trabalhos anteriores, o MusicGen é composto por um LM transformer de estágio único, juntamente com padrões eficientes de intercalação de tokens, o que elimina a necessidade de encadear vários modelos, por exemplo, de forma hierárquica ou por upsampling. Seguindo essa abordagem, demonstramos como o MusicGen pode gerar amostras de alta qualidade, sendo condicionado por descrições textuais ou características melódicas, permitindo um melhor controle sobre a saída gerada. Realizamos uma avaliação empírica extensa, considerando tanto estudos automáticos quanto humanos, mostrando que a abordagem proposta é superior aos baselines avaliados em um benchmark padrão de texto para música. Por meio de estudos de ablação, destacamos a importância de cada um dos componentes que compõem o MusicGen.

Este modelo foi contribuído por ylacombe. O código original pode ser encontrado aqui. Os checkpoints pré-treinados podem ser encontrados no Hugging Face Hub.

Diferença em relação ao MusicGen

Há duas diferenças principais em relação ao MusicGen:

O prompt de áudio é usado aqui como um sinal condicional para a amostra de áudio gerada, enquanto é usado para continuação de áudio no MusicGen.
Os sinais de texto e áudio condicionais são concatenados aos estados ocultos do decodificador, em vez de serem usados como sinal de atenção cruzada, como no MusicGen.

Geração

MusicGen Melody é compatível com dois modos de geração: greedy e sampling. Na prática, o sampling leva a resultados significativamente melhores do que o greedy, portanto, incentivamos o uso do modo sampling sempre que possível. O sampling é habilitado por padrão e pode ser especificado explicitamente definindo do_sample=True na chamada para MusicgenMelodyForConditionalGeneration.generate(), ou sobrescrevendo a configuração de geração do modelo (veja abaixo).

O Transformers suporta tanto as variantes mono (1 canal) quanto estéreo (2 canais) do MusicGen Melody. As versões de canal mono geram um único conjunto de codebooks. As versões estéreo geram 2 conjuntos de codebooks, 1 para cada canal (esquerda/direita), e cada conjunto de codebooks é decodificado independentemente por meio do modelo de compressão de áudio. Os fluxos de áudio de cada canal são combinados para produzir a saída estéreo final.

Geração Condicional de Áudio

O modelo pode gerar uma amostra de áudio condicionada a um texto e a um prompt de áudio por meio do uso do MusicgenMelodyProcessor para pré-processar as entradas.

Nos exemplos a seguir, carregamos um arquivo de áudio usando a biblioteca 🤗 Datasets, que pode ser instalada via pip por meio do comando abaixo:

pip install --upgrade pip
pip install datasets[audio]

O arquivo de áudio que vamos usar é carregado da seguinte forma:

from datasets import load_dataset


dataset = load_dataset("sanchit-gandhi/gtzan", split="train", streaming=True)
sample = next(iter(dataset))["audio"]

O prompt de áudio deve ser, idealmente, livre dos sinais de baixa frequência geralmente produzidos por instrumentos como tambores e baixo. O modelo Demucs pode ser usado para separar as vozes e outros sinais dos componentes de tambores e baixo.

Se você deseja usar o Demucs, primeiro precisa seguir as etapas de instalação aqui antes de usar o seguinte trecho de código:

import torch
from demucs import pretrained
from demucs.apply import apply_model
from demucs.audio import convert_audio


wav = torch.tensor(sample["array"]).to(torch.float32)

demucs = pretrained.get_model('htdemucs')

wav = convert_audio(wav[None], sample["sampling_rate"], demucs.samplerate, demucs.audio_channels)
wav = apply_model(demucs, wav[None])

Em seguida, você pode usar o seguinte trecho de código para gerar música:

from transformers import AutoProcessor, MusicgenMelodyForConditionalGeneration


processor = AutoProcessor.from_pretrained("facebook/musicgen-melody")
model = MusicgenMelodyForConditionalGeneration.from_pretrained("facebook/musicgen-melody", device_map="auto")

inputs = processor(
    audio=wav,
    sampling_rate=demucs.samplerate,
    text=["80s blues track with groovy saxophone"],
    padding=True,
    return_tensors="pt",
)
audio_values = model.generate(**inputs, do_sample=True, guidance_scale=3, max_new_tokens=256)

Você também pode passar o sinal de áudio diretamente, sem usar o Demucs, embora a qualidade da geração provavelmente seja degradada:

from transformers import AutoProcessor, MusicgenMelodyForConditionalGeneration


processor = AutoProcessor.from_pretrained("facebook/musicgen-melody")
model = MusicgenMelodyForConditionalGeneration.from_pretrained("facebook/musicgen-melody", device_map="auto")

inputs = processor(
    audio=sample["array"],
    sampling_rate=sample["sampling_rate"],
    text=["80s blues track with groovy saxophone"],
    padding=True,
    return_tensors="pt",
)
audio_values = model.generate(**inputs, do_sample=True, guidance_scale=3, max_new_tokens=256)

As saídas de áudio são um tensor Torch tridimensional com a forma (batch_size, num_channels, sequence_length). Para ouvir as amostras de áudio geradas, você pode reproduzi-las em um notebook ipynb:

from IPython.display import Audio


sampling_rate = model.config.audio_encoder.sampling_rate
Audio(audio_values[0].numpy(), rate=sampling_rate)

Ou salve-os como um arquivo .wav usando uma biblioteca de terceiros, por exemplo, soundfile:

import soundfile as sf


sampling_rate = model.config.audio_encoder.sampling_rate
sf.write("musicgen_out.wav", audio_values[0].T.numpy(), sampling_rate)

Geração condicional apenas com texto

O mesmo MusicgenMelodyProcessor pode ser usado para pré-processar um prompt apenas de texto.

from transformers import AutoProcessor, MusicgenMelodyForConditionalGeneration


processor = AutoProcessor.from_pretrained("facebook/musicgen-melody")
model = MusicgenMelodyForConditionalGeneration.from_pretrained("facebook/musicgen-melody", device_map="auto")

inputs = processor(
    text=["80s pop track with bassy drums and synth", "90s rock song with loud guitars and heavy drums"],
    padding=True,
    return_tensors="pt",
)
audio_values = model.generate(**inputs, do_sample=True, guidance_scale=3, max_new_tokens=256)

O guidance_scale é usado no classifier free guidance (CFG), definindo o peso entre os logits condicionais (que são previstos a partir dos prompts de texto) e os logits incondicionais (que são previstos a partir de um prompt incondicional ou ‘nulo’). Um guidance scale mais alto incentiva o modelo a gerar amostras mais estreitamente ligadas ao prompt de entrada, geralmente em detrimento de uma pior qualidade de áudio. O CFG é ativado ao definir guidance_scale > 1. Para obter os melhores resultados, use guidance_scale=3 (padrão).

Você também pode gerar em lote:


from transformers import AutoProcessor, MusicgenMelodyForConditionalGeneration


processor = AutoProcessor.from_pretrained("facebook/musicgen-melody")
model = MusicgenMelodyForConditionalGeneration.from_pretrained("facebook/musicgen-melody", device_map="auto")

# take the first quarter of the audio sample
sample_1 = sample["array"][: len(sample["array"]) // 4]

# take the first half of the audio sample
sample_2 = sample["array"][: len(sample["array"]) // 2]

inputs = processor(
    audio=[sample_1, sample_2],
    sampling_rate=sample["sampling_rate"],
    text=["80s blues track with groovy saxophone", "90s rock song with loud guitars and heavy drums"],
    padding=True,
    return_tensors="pt",
)
audio_values = model.generate(**inputs, do_sample=True, guidance_scale=3, max_new_tokens=256)

Geração Incondicional

As entradas para a geração incondicional (ou ‘nula’) podem ser obtidas por meio do método MusicgenMelodyProcessor.get_unconditional_inputs():

from transformers import MusicgenMelodyForConditionalGeneration, MusicgenMelodyProcessor


model = MusicgenMelodyForConditionalGeneration.from_pretrained("facebook/musicgen-melody", device_map="auto")
unconditional_inputs = MusicgenMelodyProcessor.from_pretrained("facebook/musicgen-melody").get_unconditional_inputs(num_samples=1)

audio_values = model.generate(**unconditional_inputs, do_sample=True, max_new_tokens=256)

Configuração de Geração

Os parâmetros padrão que controlam o processo de geração, como amostragem, escala de orientação e número de tokens gerados, podem ser encontrados na configuração de geração do modelo e atualizados conforme desejado:

from transformers import MusicgenMelodyForConditionalGeneration


model = MusicgenMelodyForConditionalGeneration.from_pretrained("facebook/musicgen-melody", device_map="auto")

# inspect the default generation config
model.generation_config

# increase the guidance scale to 4.0
model.generation_config.guidance_scale = 4.0

# decrease the max length to 256 tokens
model.generation_config.max_length = 256

Observe que quaisquer argumentos passados para o método generate substituem aqueles na configuração de geração, de modo que definir do_sample=False na chamada para generate substituirá a configuração de model.generation_config.do_sample na configuração de geração.

Estrutura do Modelo

O modelo MusicGen pode ser decomposto em três etapas distintas:

Codificador de texto: mapeia as entradas de texto para uma sequência de representações de estados ocultos. Os modelos MusicGen pré-treinados utilizam um codificador de texto congelado, seja do T5 ou do Flan-T5.
Decodificador de melodia do MusicGen: um modelo de linguagem (LM) que gera tokens de áudio (ou códigos) de forma auto-regressiva, condicionada às representações de estados ocultos do codificador
Decodificador de áudio: usado para recuperar a forma de onda do áudio a partir dos tokens de áudio previstos pelo decodificador.

Assim, o modelo MusicGen pode ser usado como um modelo decodificador autônomo, correspondente à classe MusicgenMelodyForCausalLM, ou como um modelo composto que inclui o codificador de texto e o codificador de áudio, correspondente à classe MusicgenMelodyForConditionalGeneration. Se apenas o decodificador precisar ser carregado a partir do checkpoint pré-treinado, ele pode ser carregado especificando primeiro a configuração correta, ou acessado por meio do atributo .decoder do modelo composto:

from transformers import AutoConfig, MusicgenMelodyForCausalLM, MusicgenMelodyForConditionalGeneration


# Option 1: get decoder config and pass to `.from_pretrained`
decoder_config = AutoConfig.from_pretrained("facebook/musicgen-melody").decoder
decoder = MusicgenMelodyForCausalLM.from_pretrained("facebook/musicgen-melody", **decoder_config.to_dict(), device_map="auto")

# Option 2: load the entire composite model, but only return the decoder
decoder = MusicgenMelodyForConditionalGeneration.from_pretrained("facebook/musicgen-melody", device_map="auto").decoder

Como os modelos de codificador de texto e de codificador de áudio são congelados durante o treinamento, o decodificador MusicGen MusicgenMelodyForCausalLM pode ser treinado de forma independente em um conjunto de dados de estados ocultos dos codificadores e códigos de áudio. Para inferência, o decodificador treinado pode ser combinado com o codificador de texto e o codificador de áudio congelados para recuperar o modelo composto MusicgenMelodyForConditionalGeneration.

Conversão de Checkpoints

Após baixar os checkpoints originais de aqui, você pode convertê-los usando o script de conversão disponível em src/transformers/models/musicgen_melody/convert_musicgen_melody_transformers.py com o seguinte comando:

python src/transformers/models/musicgen_melody/convert_musicgen_melody_transformers.py \
    --checkpoint="facebook/musicgen-melody" --pytorch_dump_folder /output/path

Dicas:

MusicGen é treinado no checkpoint de 32kHz do Encodec. Você deve garantir que está usando uma versão compatível do modelo Encodec.
O modo de amostragem tende a entregar melhores resultados do que o modo guloso - você pode alternar a amostragem com a variável do_sample na chamada para MusicgenMelodyForConditionalGeneration.generate()

MusicgenMelodyDecoderConfig

classe transformers.MusicgenMelodyDecoderConfig

< source >

( transformers_version: str | None = Nonearchitectures: list[str] | None = Noneoutput_hidden_states: bool | None = Falsereturn_dict: bool | None = Truedtype: str | torch.dtype | None = Nonechunk_size_feed_forward: int = 0is_encoder_decoder: bool = Falseid2label: dict[int, str] | dict[str, str] | None = Nonelabel2id: dict[str, int] | dict[str, str] | None = Noneproblem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = Nonevocab_size: int = 2048max_position_embeddings: int = 2048num_hidden_layers: int = 24ffn_dim: int = 4096num_attention_heads: int = 16layerdrop: float | int = 0.0use_cache: bool = Trueactivation_function: str = 'gelu'hidden_size: int = 1024dropout: float | int = 0.1attention_dropout: float | int = 0.0activation_dropout: float | int = 0.0initializer_factor: float = 0.02scale_embedding: bool = Falsenum_codebooks: int = 4audio_channels: int = 1pad_token_id: int | None = 2048bos_token_id: int | None = 2048eos_token_id: int | list[int] | None = Nonetie_word_embeddings: bool = Falseis_decoder: bool = Falseadd_cross_attention: bool = False )

Parâmetros

vocab_size (int, opcional, padrão 2048) — Tamanho do vocabulário do modelo. Define o número de tokens diferentes que podem ser representados pelos input_ids.
max_position_embeddings (int, opcional, padrão 2048) — O comprimento máximo de sequência com o qual este modelo pode ser utilizado.
num_hidden_layers (int, opcional, padrão 24) — Número de camadas ocultas no decodificador do Transformer.
ffn_dim (int, opcional, padrão 4096) — Dimensão das representações do MLP.
num_attention_heads (int, opcional, padrão 16) — Número de cabeças de atenção para cada camada de atenção no decodificador do Transformer.
layerdrop (Union[float, int], opcional, padrão 0.0) — A probabilidade de LayerDrop. Consulte o [artigo do LayerDrop](veja https://huggingface.co/papers/1909.11556) para mais detalhes.
use_cache (bool, opcional, padrão True) — Se o modelo deve ou não retornar as últimas chaves/valores de atenção (não usado por todos os modelos). Relevante apenas se config.is_decoder=True ou quando o modelo for um modelo generativo somente decodificador.
activation_function (str, opcional, padrão gelu) — A função de ativação não linear (função ou string) no decodificador. Por exemplo, "gelu", "relu", "silu", etc.
hidden_size (int, opcional, padrão 1024) — Dimensão das representações ocultas.
dropout (Union[float, int], opcional, padrão 0.1) — A proporção para todas as camadas de dropout.
attention_dropout (Union[float, int], opcional, padrão 0.0) — A taxa de dropout para as probabilidades de atenção.
activation_dropout (Union[float, int], opcional, padrão 0.0) — A taxa de dropout para as ativações dentro da camada totalmente conectada.
initializer_factor (float, opcional, padrão 0.02) — Fator para inicializar todas as matrizes de pesos (deve ser mantido em 1, usado internamente para testes de inicialização).
scale_embedding (bool, opcional, padrão False) — Se as embeddings devem ser escalonadas dividindo por sqrt(d_model).
num_codebooks (int, opcional, padrão 4) — O número de codebooks paralelos usados pelo modelo.
audio_channels (int, opcional, padrão 1) — Número de canais de áudio usados pelo modelo (mono ou estéreo). Modelos estéreo geram um fluxo de áudio separado para os canais de saída esquerda/direita. Modelos mono geram um único fluxo de saída de áudio.
pad_token_id (int, opcional, padrão 2048) — ID do token usado para preenchimento no vocabulário.
bos_token_id (int, opcional, padrão 2048) — ID do token usado para o início do fluxo no vocabulário.
eos_token_id (Union[int, list[int]], opcional) — ID do token usado para o fim do fluxo no vocabulário.
tie_word_embeddings (bool, opcional, padrão False) — Se deve vincular as embeddings de pesos de acordo com o mapeamento tied_weights_keys do modelo.
is_decoder (bool, opcional, padrão False) — Indica se o modelo é usado como decodificador ou não. Se False, o modelo é usado como codificador.
add_cross_attention (bool, opcional, padrão False) — Se camadas de atenção cruzada devem ser adicionadas ao modelo.

Esta é a classe de configuração para armazenar a configuração de um MusicgenMelodyModel. Ela é usada para instanciar um modelo Musicgen Melody de acordo com os argumentos especificados, definindo a arquitetura do modelo. Instanciar uma configuração com os padrões resultará em uma configuração semelhante à do facebook/musicgen-melody

Os objetos de configuração herdam de PreTrainedConfig e podem ser usados para controlar as saídas do modelo. Consulte a documentação de PreTrainedConfig para mais informações.

MusicgenMelodyProcessor

classe transformers.MusicgenMelodyProcessor

< source >

( feature_extractortokenizer )

Parâmetros

feature_extractor (MusicgenMelodyFeatureExtractor) — O extrator de recursos é uma entrada obrigatória.
tokenizer (T5Tokenizer) — O tokenizer é uma entrada obrigatória.

Constrói um MusicgenMelodyProcessor que encapsula um extrator de características e um tokenizer em um único processador.

MusicgenMelodyProcessor oferece todas as funcionalidades de MusicgenMelodyFeatureExtractor e T5Tokenizer. Consulte ~MusicgenMelodyFeatureExtractor e ~T5Tokenizer para mais informações.

call

< source >

( *args**kwargs )

Parâmetros

return_tensors (str ou TensorType, opcional) — Se definido, retornará tensors de um framework específico. Os valores aceitos são:
- 'pt': Retorna objetos torch.Tensor do PyTorch.
- 'np': Retorna objetos np.ndarray do NumPy.

get_unconditional_inputs

< source >

( num_samples = 1return_tensors = 'pt' )

Parâmetros

num_samples (int, opcional) — Número de amostras de áudio a serem geradas incondicionalmente.

Função auxiliar para obter entradas nulas para geração incondicional, permitindo que o modelo seja usado sem o extrator de recursos ou o tokenizador.

Exemplo:

>>> from transformers import MusicgenMelodyForConditionalGeneration, MusicgenMelodyProcessor

>>> model = MusicgenMelodyForConditionalGeneration.from_pretrained("facebook/musicgen-melody")

>>> # get the unconditional (or 'null') inputs for the model
>>> processor = MusicgenMelodyProcessor.from_pretrained("facebook/musicgen-melody")
>>> unconditional_inputs = processor.get_unconditional_inputs(num_samples=1)

>>> audio_samples = model.generate(**unconditional_inputs, max_new_tokens=256)

MusicgenMelodyFeatureExtractor

classe transformers.MusicgenMelodyFeatureExtractor

< source >

( feature_size = 12sampling_rate = 32000hop_length = 4096chunk_length = 30n_fft = 16384num_chroma = 12padding_value = 0.0return_attention_mask = Falsestem_indices = [3, 2]**kwargs )

Parâmetros

feature_size (int, opcional, padrão 12) — A dimensão dos recursos das características extraídas.
sampling_rate (int, opcional, padrão 32000) — A taxa de amostragem na qual os arquivos de áudio devem ser digitalizados, expressa em hertz (Hz).
hop_length (int, opcional, padrão 4096) — Comprimento das janelas sobrepostas para a STFT usada para obter os coeficientes de Frequência Mel.
chunk_length (int, opcional, padrão 30) — O número máximo de blocos de sampling_rate amostras usados para aparar e preencher sequências de áudio mais longas ou mais curtas.
n_fft (int, opcional, padrão 16384) — Tamanho da transformada de Fourier.
num_chroma (int, opcional, padrão 12) — Número de bins de cromatismo a serem usados.
padding_value (float, opcional, padrão 0.0) — Valor de preenchimento usado para preencher o áudio.
return_attention_mask (bool, opcional, padrão é False) — Se deve retornar a attention mask. Pode ser sobrescrito ao chamar o feature extractor.
O que são máscaras de atenção?

Para os modelos Whisper, attention_mask deve sempre ser passado para inferência em lote, a fim de evitar bugs sutis.
stem_indices (list[int], opcional, padrão [3, 2]) — Canais de stem a serem extraídos caso as saídas do demucs sejam passadas.

Constrói um extrator de recursos MusicgenMelody.

Este extrator de características herda de SequenceFeatureExtractor, que contém a maioria dos métodos principais. Os usuários devem consultar essa superclasse para obter mais informações sobre esses métodos.

Esta classe extrai recursos de croma de áudio processado por Demucs ou diretamente da forma de onda de áudio bruto.

MusicgenMelodyConfig

classe transformers.MusicgenMelodyConfig

< source >

( transformers_version: str | None = Nonearchitectures: list[str] | None = Noneoutput_hidden_states: bool | None = Falsereturn_dict: bool | None = Truedtype: str | torch.dtype | None = Nonechunk_size_feed_forward: int = 0is_encoder_decoder: bool = Falseid2label: dict[int, str] | dict[str, str] | None = Nonelabel2id: dict[str, int] | dict[str, str] | None = Noneproblem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = Nonetext_encoder: dict | transformers.configuration_utils.PreTrainedConfig | None = Noneaudio_encoder: dict | transformers.configuration_utils.PreTrainedConfig | None = Nonedecoder: dict | transformers.configuration_utils.PreTrainedConfig | None = Nonenum_chroma: int = 12chroma_length: int = 235initializer_factor: float = 0.02 )

Parâmetros

text_encoder (Union[dict, PretrainedConfig]) — Uma instância de um objeto de configuração que define a configuração do codificador de texto.
audio_encoder (Union[dict, PretrainedConfig]) — Uma instância de um objeto de configuração que define a configuração do codificador de áudio.
decoder (Union[dict, PretrainedConfig]) — Uma instância de um objeto de configuração que define a configuração do decoder.
num_chroma (int, opcional, padrão 12) — Número de bins de cromatismo a serem usados.
chroma_length (int, opcional, padrão 235) — Duração máxima de cromagrama quando o áudio é usado para condicionar o modelo. Corresponde à duração máxima utilizada durante o treinamento.
initializer_factor (float, opcional, padrão 0.02) — Fator para inicializar todas as matrizes de pesos (deve ser mantido em 1, usado internamente para testes de inicialização).

Os objetos de configuração herdam de PreTrainedConfig e podem ser usados para controlar as saídas do modelo. Consulte a documentação de PreTrainedConfig para mais informações.

Exemplo:

>>> from transformers import (
...     MusicgenMelodyConfig,
...     MusicgenMelodyDecoderConfig,
...     T5Config,
...     EncodecConfig,
...     MusicgenMelodyForConditionalGeneration,
... )

>>> # Initializing text encoder, audio encoder, and decoder model configurations
>>> text_encoder_config = T5Config()
>>> audio_encoder_config = EncodecConfig()
>>> decoder_config = MusicgenMelodyDecoderConfig()

>>> configuration = MusicgenMelodyConfig(
...     text_encoder=text_encoder_config, audio_encoder=audio_encoder_config, decoder=decoder_config
... )

>>> # Initializing a MusicgenMelodyForConditionalGeneration (with random weights) from the facebook/musicgen-melody style configuration
>>> model = MusicgenMelodyForConditionalGeneration(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config
>>> config_text_encoder = model.config.text_encoder
>>> config_audio_encoder = model.config.audio_encoder
>>> config_decoder = model.config.decoder

>>> # Saving the model, including its configuration
>>> model.save_pretrained("musicgen_melody-model")

>>> # loading model and config from pretrained folder
>>> musicgen_melody_config = MusicgenMelodyConfig.from_pretrained("musicgen_melody-model")
>>> model = MusicgenMelodyForConditionalGeneration.from_pretrained("musicgen_melody-model", config=musicgen_melody_config)

MusicgenMelodyModel

classe transformers.MusicgenMelodyModel

< source >

( config: MusicgenMelodyDecoderConfig )

Parâmetros

config (MusicgenMelodyDecoderConfig) — Classe de configuração do modelo com todos os parâmetros do modelo. A inicialização com um arquivo de configuração não carrega os pesos associados ao modelo, apenas a configuração. Consulte o método from_pretrained() para carregar os pesos do modelo.

O modelo Musicgen Melody básico, que gera estados ocultos brutos sem nenhum cabeçalho específico no topo.

Este modelo herda de PreTrainedModel. Consulte a documentação da classe pai para os métodos genéricos que a biblioteca implementa para todos os seus modelos (como download ou salvamento, redimensionamento dos embeddings de entrada, poda de cabeças, etc.)

Este modelo também é uma subclasse de torch.nn.Module do PyTorch. Use-o como um Módulo PyTorch regular e consulte a documentação do PyTorch para todos os assuntos relacionados ao uso geral e ao comportamento.

forward

< source >

( input_ids: typing.Optional[torch.LongTensor] = Noneattention_mask: typing.Optional[torch.Tensor] = Noneencoder_hidden_states: typing.Optional[torch.Tensor] = Noneencoder_attention_mask: typing.Optional[torch.LongTensor] = Nonepast_key_values: transformers.cache_utils.Cache | None = Noneinputs_embeds: typing.Optional[torch.Tensor] = Noneuse_cache: bool | None = None**kwargs: *<class 'transformers.utils.generic.TransformersKwargs'> ) → BaseModelOutputWithPast or tuple(torch.Tensor)

Parâmetros

input_ids (torch.LongTensor de forma (batch_size * num_codebooks, sequence_length)) — Índices dos tokens da sequência de entrada no vocabulário, correspondentes à sequência de códigos de áudio. Os índices podem ser obtidos codificando um prompt de áudio com um modelo de codificador de áudio para prever códigos de áudio, como com o EncodecModel. Consulte EncodecModel.encode() para mais detalhes. O que são IDs de entrada? Os input_ids serão convertidos automaticamente da forma (batch_size * num_codebooks, target_sequence_length) para (batch_size, num_codebooks, target_sequence_length) na passagem direta. Se você obtiver códigos de áudio de um modelo de codificação de áudio, como o EncodecModel, certifique-se de que o número de quadros seja igual a 1 e de que você redimensione os códigos de áudio de (frames, batch_size, num_codebooks, target_sequence_length) para (batch_size * num_codebooks, target_sequence_length) antes de passá-los como input_ids.
Os índices podem ser obtidos codificando um prompt de áudio com um modelo de codificador de áudio para prever códigos de áudio, como com o EncodecModel. Consulte EncodecModel.encode() para mais detalhes.

O que são IDs de entrada?

O input_ids será convertido automaticamente da forma (batch_size * num_codebooks, target_sequence_length) para (batch_size, num_codebooks, target_sequence_length) na passagem direta. Se você obtiver códigos de áudio de um modelo de codificação de áudio, como o EncodecModel, certifique-se de que o número de quadros seja igual a 1 e de que você redimensione os códigos de áudio de (frames, batch_size, num_codebooks, target_sequence_length) para (batch_size * num_codebooks, target_sequence_length) antes de passá-los como input_ids.
attention_mask (torch.Tensor de forma (batch_size, sequence_length), opcional) — Máscara para evitar a execução de atenção nos índices de tokens de preenchimento. Valores de máscara selecionados em [0, 1]:
- 1 para tokens que não estão mascarados,
- 0 para tokens que estão mascarados.
O que são máscaras de atenção?
encoder_hidden_states (torch.Tensor de forma (batch_size, encoder_sequence_length, hidden_size), opcional) — Sequência de hidden-states representando a concatenação da saída do encoder de texto e da saída processada do encoder de áudio. Usada como sinal condicional e, portanto, será concatenada aos decoder_input_ids projetados.
encoder_attention_mask (torch.LongTensor de forma (batch_size, encoder_sequence_length), opcional) — Máscara para evitar a execução de atenção nos estados ocultos condicionais. Valores da máscara selecionados em [0, 1]:
- 1 para tokens que não estão mascarados,
- 0 para tokens que estão mascarados.
O que são máscaras de atenção?
past_key_values (~cache_utils.Cache, opcional) — Estados ocultos pré-computados (chaves e valores nos blocos de autoatenção e nos blocos de atenção cruzada) que podem ser usados para acelerar a decodificação sequencial. Isso geralmente consiste no past_key_values retornado pelo modelo em uma etapa anterior da decodificação, quando use_cache=True ou config.use_cache=True.
Apenas uma instância de Cache é permitida como entrada, consulte nosso guia de cache de kv. Se nenhum past_key_values for passado, DynamicCache será inicializado por padrão.

O modelo sairá no mesmo formato de cache que é fornecido como entrada.

Se past_key_values forem usados, espera-se que o usuário insira apenas os input_ids não processados (aqueles que não têm seus estados de chave e valor passados fornecidos a este modelo) com a forma (batch_size, unprocessed_length), em vez de todos os input_ids com a forma (batch_size, sequence_length).
inputs_embeds (torch.Tensor de forma (batch_size, sequence_length, hidden_size), opcional) — Opcionalmente, em vez de passar input_ids, você pode escolher passar diretamente uma representação incorporada. Isso é útil se você quiser ter mais controle sobre como converter os índices de input_ids nos vetores associados do que a matriz de busca de incorporação interna do modelo.
use_cache (bool, opcional) — Se definido como True, os estados de chave-valor past_key_values são retornados e podem ser usados para acelerar a decodificação (veja past_key_values).

Retorna

BaseModelOutputWithPast ou tuple(torch.Tensor)

Um BaseModelOutputWithPast ou uma tupla de torch.Tensor (se return_dict=False for passado ou quando config.return_dict=False) contendo vários elementos dependendo da configuração (None) e das entradas.

O método forward do MusicgenMelodyModel substitui o método especial __call__.

Embora a receita para a passagem direta precise ser definida dentro desta função, deve-se chamar a instância de Module em seguida, em vez desta, pois a primeira cuida da execução das etapas de pré e pós-processamento, enquanto a segunda as ignora silenciosamente.

last_hidden_state (torch.Tensor de forma (batch_size, sequence_length, hidden_size)) — Sequência de estados ocultos na saída da última camada do modelo.

Se past_key_values for usado, apenas o último hidden-state das sequências, com forma (batch_size, 1, hidden_size), é retornado.
past_key_values (Cache, opcional, retornado quando use_cache=True é passado ou quando config.use_cache=True) — É uma instância de Cache. Para mais detalhes, consulte nosso guia de cache kv.

Contém estados ocultos pré-computados (chaves e valores nos blocos de autoatenção e, opcionalmente, se config.is_encoder_decoder=True, nos blocos de atenção cruzada) que podem ser usados (veja a entrada past_key_values) para acelerar a decodificação sequencial.
hidden_states (tuple(torch.Tensor), opcional, retornado quando output_hidden_states=True é passado ou quando config.output_hidden_states=True) — Tupla de torch.Tensor (um para a saída dos embeddings, se o modelo tiver uma camada de embedding, + um para a saída de cada camada) de forma (batch_size, sequence_length, hidden_size).

Estados ocultos do modelo na saída de cada camada, além das saídas opcionais do embedding inicial.
attentions (tuple(torch.Tensor), opcional, retornado quando output_attentions=True é passado ou quando config.output_attentions=True) — Tupla de torch.Tensor (um para cada camada) com forma (batch_size, num_heads, sequence_length, sequence_length).

Pesos de atenção após o softmax de atenção, usados para calcular a média ponderada nos cabeçalhos de autoatenção.

MusicgenMelodyForCausalLM

classe transformers.MusicgenMelodyForCausalLM

< source >

( config: MusicgenMelodyDecoderConfig )

Parâmetros

config (MusicgenMelodyDecoderConfig) — Classe de configuração do modelo com todos os parâmetros do modelo. A inicialização com um arquivo de configuração não carrega os pesos associados ao modelo, apenas a configuração. Consulte o método from_pretrained() para carregar os pesos do modelo.

O modelo decodificador Musicgen Melody com uma cabeça de modelagem de linguagem no topo.

forward

< source >

( input_ids: typing.Optional[torch.LongTensor] = Noneattention_mask: typing.Optional[torch.Tensor] = Noneencoder_hidden_states: typing.Optional[torch.Tensor] = Noneencoder_attention_mask: typing.Optional[torch.LongTensor] = Nonepast_key_values: transformers.cache_utils.Cache | None = Noneinputs_embeds: typing.Optional[torch.Tensor] = Noneuse_cache: bool | None = Nonelabels: typing.Optional[torch.LongTensor] = None**kwargs: *<class 'transformers.utils.generic.TransformersKwargs'> ) → MusicgenMelodyOutputWithPast or tuple(torch.Tensor)

Parâmetros

input_ids (torch.LongTensor de forma (batch_size * num_codebooks, sequence_length)) — Índices dos tokens da sequência de entrada no vocabulário, correspondentes à sequência de códigos de áudio. Os índices podem ser obtidos codificando um prompt de áudio com um modelo de codificador de áudio para prever códigos de áudio, como com o EncodecModel. Consulte EncodecModel.encode() para mais detalhes. O que são IDs de entrada? Os input_ids serão convertidos automaticamente da forma (batch_size * num_codebooks, target_sequence_length) para (batch_size, num_codebooks, target_sequence_length) na passagem direta. Se você obtiver códigos de áudio de um modelo de codificação de áudio, como o EncodecModel, certifique-se de que o número de quadros seja igual a 1 e de que você redimensione os códigos de áudio de (frames, batch_size, num_codebooks, target_sequence_length) para (batch_size * num_codebooks, target_sequence_length) antes de passá-los como input_ids.
Os índices podem ser obtidos codificando um prompt de áudio com um modelo de codificador de áudio para prever códigos de áudio, como com o EncodecModel. Consulte EncodecModel.encode() para mais detalhes.

O que são IDs de entrada?

O input_ids será convertido automaticamente da forma (batch_size * num_codebooks, target_sequence_length) para (batch_size, num_codebooks, target_sequence_length) na passagem direta. Se você obtiver códigos de áudio de um modelo de codificação de áudio, como o EncodecModel, certifique-se de que o número de quadros seja igual a 1 e de que você redimensione os códigos de áudio de (frames, batch_size, num_codebooks, target_sequence_length) para (batch_size * num_codebooks, target_sequence_length) antes de passá-los como input_ids.
attention_mask (torch.Tensor de forma (batch_size, sequence_length), opcional) — Máscara para evitar a execução de atenção nos índices de tokens de preenchimento. Valores de máscara selecionados em [0, 1]:
- 1 para tokens que não estão mascarados,
- 0 para tokens que estão mascarados.
O que são máscaras de atenção?
encoder_hidden_states (torch.Tensor de forma (batch_size, encoder_sequence_length, hidden_size), opcional) — Sequência de hidden-states representando a concatenação da saída do encoder de texto e da saída processada do encoder de áudio. Usada como sinal condicional e, portanto, será concatenada aos decoder_input_ids projetados.
encoder_attention_mask (torch.LongTensor de forma (batch_size, encoder_sequence_length), opcional) — Máscara para evitar a execução de atenção nos estados ocultos condicionais. Valores da máscara selecionados em [0, 1]:
- 1 para tokens que não estão mascarados,
- 0 para tokens que estão mascarados.
O que são máscaras de atenção?
past_key_values (~cache_utils.Cache, opcional) — Estados ocultos pré-computados (chaves e valores nos blocos de autoatenção e nos blocos de atenção cruzada) que podem ser usados para acelerar a decodificação sequencial. Isso geralmente consiste no past_key_values retornado pelo modelo em uma etapa anterior da decodificação, quando use_cache=True ou config.use_cache=True.
Apenas uma instância de Cache é permitida como entrada, consulte nosso guia de cache de kv. Se nenhum past_key_values for passado, DynamicCache será inicializado por padrão.

O modelo sairá no mesmo formato de cache que é fornecido como entrada.

Se past_key_values forem usados, espera-se que o usuário insira apenas os input_ids não processados (aqueles que não têm seus estados de chave e valor passados fornecidos a este modelo) com a forma (batch_size, unprocessed_length), em vez de todos os input_ids com a forma (batch_size, sequence_length).
inputs_embeds (torch.Tensor de forma (batch_size, sequence_length, hidden_size), opcional) — Opcionalmente, em vez de passar input_ids, você pode escolher passar diretamente uma representação incorporada. Isso é útil se você quiser ter mais controle sobre como converter os índices de input_ids nos vetores associados do que a matriz de busca de incorporação interna do modelo.
use_cache (bool, opcional) — Se definido como True, os estados de chave-valor past_key_values são retornados e podem ser usados para acelerar a decodificação (veja past_key_values).
labels (torch.LongTensor de forma (batch_size, sequence_length, num_codebooks), opcional) — Rótulos para modelagem de linguagem. Observe que os rótulos são deslocados dentro do modelo, ou seja, você pode definir labels = input_ids Os índices são selecionados em [-100, 0, ..., config.vocab_size] Todos os rótulos definidos como -100 são ignorados (mascarados); a perda é calculada apenas para rótulos em [0, ..., config.vocab_size]

Retorna

MusicgenMelodyOutputWithPast ou tuple(torch.Tensor)

Um MusicgenMelodyOutputWithPast ou uma tupla de torch.Tensor (se return_dict=False for passado ou quando config.return_dict=False) contendo vários elementos, dependendo da configuração (MusicgenMelodyConfig) e das entradas.

O método forward de MusicgenMelodyForCausalLM substitui o método especial __call__.

Embora a receita para a passagem direta precise ser definida dentro desta função, deve-se chamar a instância de Module em seguida, em vez desta, pois a primeira cuida da execução das etapas de pré e pós-processamento, enquanto a segunda as ignora silenciosamente.

loss (torch.Tensor de forma (1,), opcional, retornado quando labels é fornecido) — Perda de modelagem de linguagem (para previsão do próximo token).
logits (torch.Tensor de forma (batch_size, sequence_length, config.vocab_size)) — Pontuações de previsão da cabeça de modelagem de linguagem (pontuações para cada token do vocabulário antes do SoftMax).
past_key_values (Cache, opcional, retornado quando use_cache=True é passado ou quando config.use_cache=True) — É uma instância de Cache. Para mais detalhes, consulte nosso guia de cache kv.

Contém estados ocultos pré-computados (chaves e valores nos blocos de autoatenção) que podem ser usados (veja a entrada past_key_values) para acelerar a decodificação sequencial.
hidden_states (tuple[torch.Tensor], opcional, retornado quando output_hidden_states=True é passado ou quando config.output_hidden_states=True) — Tupla de torch.Tensor (um para a saída dos embeddings, se o modelo tiver uma camada de embedding, + um para a saída de cada camada) de forma (batch_size, sequence_length, hidden_size).

Estados ocultos do modelo na saída de cada camada, além das saídas opcionais do embedding inicial.
attentions (tuple[torch.Tensor], opcional, retornado quando output_attentions=True é passado ou quando config.output_attentions=True) — Tupla de torch.Tensor (um para cada camada) com forma (batch_size, num_heads, sequence_length, sequence_length).

Pesos de atenção após o softmax de atenção, usados para calcular a média ponderada nos cabeçalhos de autoatenção.
encoder_hidden_states (torch.Tensor de forma (batch_size, encoder_sequence_length, hidden_size), opcional) — Sequência de estados ocultos condicionais que representa a concatenação da saída projetada do codificador de texto e da saída projetada do codificador de áudio. Usado como sinal condicional.

Exemplo:

MusicgenMelodyForConditionalGeneration

classe transformers.MusicgenMelodyForConditionalGeneration

< source >

( config: MusicgenMelodyConfig = Nonetext_encoder: transformers.modeling_utils.PreTrainedModel | None = Noneaudio_encoder: transformers.modeling_utils.PreTrainedModel | None = Nonedecoder: transformers.models.musicgen_melody.modeling_musicgen_melody.MusicgenMelodyForCausalLM | None = None )

Parâmetros

config (MusicgenMelodyConfig, opcional) — Classe de configuração do modelo com todos os parâmetros do modelo. A inicialização com um arquivo de configuração não carrega os pesos associados ao modelo, apenas a configuração. Consulte o método from_pretrained() para carregar os pesos do modelo.
text_encoder (PreTrainedModel, opcional) — O modelo de codificador de texto que codifica o texto em estados ocultos para condicionamento.
audio_encoder (PreTrainedModel, opcional) — O modelo de codificador de áudio que codifica o áudio em estados ocultos para condicionamento.
decoder (MusicgenMelodyForCausalLM, opcional) — O modelo de decodificador que gera tokens de áudio com base em sinais de condicionamento.

O Modelo Musicgen Melody para geração de tokens condicionado a outras modalidades (por exemplo, geração de texto a partir de imagem e texto).

forward

< source >

( input_ids: typing.Optional[torch.LongTensor] = Noneattention_mask: typing.Optional[torch.BoolTensor] = Noneinput_features: typing.Optional[torch.Tensor] = Nonedecoder_input_ids: typing.Optional[torch.LongTensor] = Nonedecoder_attention_mask: typing.Optional[torch.BoolTensor] = Nonepast_key_values: transformers.cache_utils.Cache | None = Noneencoder_hidden_states: typing.Optional[torch.Tensor] = Noneinputs_embeds: typing.Optional[torch.Tensor] = Nonedecoder_inputs_embeds: typing.Optional[torch.Tensor] = Nonelabels: typing.Optional[torch.LongTensor] = Noneuse_cache: bool | None = None**kwargs: *<class 'transformers.utils.generic.TransformersKwargs'> ) → MusicgenMelodyOutputWithPast or tuple(torch.Tensor)

Parâmetros

input_ids (torch.LongTensor de forma (batch_size, sequence_length), opcional) — Índices dos tokens da sequência de entrada no vocabulário. O padding será ignorado por padrão.
Os índices podem ser obtidos usando AutoTokenizer. Consulte PreTrainedTokenizer.encode() e PreTrainedTokenizer.call() para mais detalhes.

O que são IDs de entrada?
attention_mask (torch.BoolTensor de forma (batch_size, sequence_length), opcional) — Máscara para evitar a execução de atenção nos índices de tokens de preenchimento. Valores de máscara selecionados em [0, 1]:
- 1 para tokens que não estão mascarados,
- 0 para tokens que estão mascarados.
O que são máscaras de atenção?
input_features (torch.Tensor de forma (batch_size, sequence_length, feature_dim), opcional) — Os tensores correspondentes às características de áudio de entrada. As características de áudio podem ser obtidas usando MusicgenMelodyFeatureExtractor. Consulte MusicgenMelodyFeatureExtractor.__call__() para obter detalhes (MusicgenMelodyProcessor usa MusicgenMelodyFeatureExtractor para processar os áudios).
decoder_input_ids (torch.LongTensor de forma (batch_size * num_codebooks, target_sequence_length), opcional) — Índices dos tokens da sequência de entrada do decodificador no vocabulário, correspondentes à sequência de códigos de áudio. Os índices podem ser obtidos codificando um prompt de áudio com um modelo de codificador de áudio para prever códigos de áudio, como com o EncodecModel. Consulte EncodecModel.encode() para mais detalhes. O que são IDs de entrada do decodificador? Os decoder_input_ids serão automaticamente convertidos da forma (batch_size * num_codebooks, target_sequence_length) para (batch_size, num_codebooks, target_sequence_length) na passagem direta. Se você obtiver códigos de áudio de um modelo de codificação de áudio, como o EncodecModel, certifique-se de que o número de quadros seja igual a 1 e de que você redimensione os códigos de áudio de (frames, batch_size, num_codebooks, target_sequence_length) para (batch_size * num_codebooks, target_sequence_length) antes de passá-los como decoder_input_ids.
Os índices podem ser obtidos codificando um prompt de áudio com um modelo de codificador de áudio para prever códigos de áudio, como com o EncodecModel. Consulte EncodecModel.encode() para mais detalhes.

O que são IDs de entrada do decodificador?

O decoder_input_ids será automaticamente convertido da forma (batch_size * num_codebooks, target_sequence_length) para (batch_size, num_codebooks, target_sequence_length) na passagem direta. Se você obtiver códigos de áudio de um modelo de codificação de áudio, como o EncodecModel, certifique-se de que o número de quadros seja igual a 1 e de que você redimensione os códigos de áudio de (frames, batch_size, num_codebooks, target_sequence_length) para (batch_size * num_codebooks, target_sequence_length) antes de passá-los como decoder_input_ids.
decoder_attention_mask (torch.LongTensor de forma (batch_size, target_sequence_length), opcional) — Comportamento padrão: gera um tensor que ignora tokens de preenchimento em decoder_input_ids. A máscara causal também será usada por padrão.
past_key_values (~cache_utils.Cache, opcional) — Estados ocultos pré-computados (chaves e valores nos blocos de autoatenção e nos blocos de atenção cruzada) que podem ser usados para acelerar a decodificação sequencial. Isso geralmente consiste no past_key_values retornado pelo modelo em uma etapa anterior da decodificação, quando use_cache=True ou config.use_cache=True.
Apenas uma instância de Cache é permitida como entrada, consulte nosso guia de cache de kv. Se nenhum past_key_values for passado, DynamicCache será inicializado por padrão.

O modelo sairá no mesmo formato de cache que é fornecido como entrada.

Se past_key_values forem usados, espera-se que o usuário insira apenas os input_ids não processados (aqueles que não têm seus estados de chave e valor passados fornecidos a este modelo) com a forma (batch_size, unprocessed_length), em vez de todos os input_ids com a forma (batch_size, sequence_length).
encoder_hidden_states (torch.Tensor de forma (batch_size, encoder_sequence_length, hidden_size), opcional) — Sequência de estados ocultos condicionais que representa a concatenação da saída projetada do codificador de texto e da saída projetada do codificador de áudio. Usada como sinal condicional e, portanto, será concatenada ao decoder_input_ids projetado.
inputs_embeds (torch.Tensor de forma (batch_size, sequence_length, hidden_size), opcional) — Opcionalmente, em vez de passar input_ids, você pode escolher passar diretamente uma representação incorporada. Isso é útil se você quiser ter mais controle sobre como converter os índices de input_ids nos vetores associados do que a matriz de busca de incorporação interna do modelo.
decoder_inputs_embeds (torch.Tensor de forma (batch_size, target_sequence_length, hidden_size), opcional) — Opcionalmente, em vez de passar decoder_input_ids você pode escolher passar diretamente uma representação incorporada. Se past_key_values for usado, opcionalmente apenas o último decoder_inputs_embeds precisa ser entrada (veja past_key_values). Isso é útil se você quiser mais controle sobre como converter decoder_input_ids índices em vetores associados do que a matriz de busca de incorporação interna do modelo.
Se decoder_input_ids e decoder_inputs_embeds estiverem ambos não definidos, decoder_inputs_embeds assume o valor de inputs_embeds.
labels (torch.LongTensor de forma (batch_size, sequence_length, num_codebooks), opcional) — Rótulos para modelagem de linguagem. Observe que os rótulos são deslocados dentro do modelo, ou seja, você pode definir labels = input_ids Os índices são selecionados em [-100, 0, ..., config.vocab_size] Todos os rótulos definidos como -100 são ignorados (mascarados); a perda é calculada apenas para rótulos em [0, ..., config.vocab_size]
use_cache (bool, opcional) — Se definido como True, os estados de chave-valor past_key_values são retornados e podem ser usados para acelerar a decodificação (veja past_key_values).

Retorna

MusicgenMelodyOutputWithPast ou tuple(torch.Tensor)

O método forward de MusicgenMelodyForConditionalGeneration substitui o método especial __call__.

Embora a receita para a passagem direta precise ser definida dentro desta função, deve-se chamar a instância de Module em seguida, em vez desta, pois a primeira cuida da execução das etapas de pré e pós-processamento, enquanto a segunda as ignora silenciosamente.

loss (torch.Tensor de forma (1,), opcional, retornado quando labels é fornecido) — Perda de modelagem de linguagem (para previsão do próximo token).
logits (torch.Tensor de forma (batch_size, sequence_length, config.vocab_size)) — Pontuações de previsão da cabeça de modelagem de linguagem (pontuações para cada token do vocabulário antes do SoftMax).
past_key_values (Cache, opcional, retornado quando use_cache=True é passado ou quando config.use_cache=True) — É uma instância de Cache. Para mais detalhes, consulte nosso guia de cache kv.

Contém estados ocultos pré-computados (chaves e valores nos blocos de autoatenção) que podem ser usados (veja a entrada past_key_values) para acelerar a decodificação sequencial.
hidden_states (tuple[torch.Tensor], opcional, retornado quando output_hidden_states=True é passado ou quando config.output_hidden_states=True) — Tupla de torch.Tensor (um para a saída dos embeddings, se o modelo tiver uma camada de embedding, + um para a saída de cada camada) de forma (batch_size, sequence_length, hidden_size).

Estados ocultos do modelo na saída de cada camada, além das saídas opcionais do embedding inicial.
attentions (tuple[torch.Tensor], opcional, retornado quando output_attentions=True é passado ou quando config.output_attentions=True) — Tupla de torch.Tensor (um para cada camada) com forma (batch_size, num_heads, sequence_length, sequence_length).

Pesos de atenção após o softmax de atenção, usados para calcular a média ponderada nos cabeçalhos de autoatenção.
encoder_hidden_states (torch.Tensor de forma (batch_size, encoder_sequence_length, hidden_size), opcional) — Sequência de estados ocultos condicionais que representa a concatenação da saída projetada do codificador de texto e da saída projetada do codificador de áudio. Usado como sinal condicional.

Exemplos:

>>> from transformers import AutoProcessor, MusicgenMelodyForConditionalGeneration
>>> import torch

>>> processor = AutoProcessor.from_pretrained("facebook/musicgen-melody")
>>> model = MusicgenMelodyForConditionalGeneration.from_pretrained("facebook/musicgen-melody")

>>> inputs = processor(
...     text=["80s pop track with bassy drums and synth", "90s rock song with loud guitars and heavy drums"],
...     padding=True,
...     return_tensors="pt",
... )

>>> pad_token_id = model.generation_config.pad_token_id
>>> decoder_input_ids = (
...     torch.ones((inputs.input_ids.shape[0] * model.decoder.num_codebooks, 1), dtype=torch.long)
...     * pad_token_id
... )

>>> logits = model(**inputs, decoder_input_ids=decoder_input_ids).logits
>>> logits.shape  # (bsz * num_codebooks, encoder_len + tgt_len, vocab_size)
torch.Size([8, 249, 2048])

Update on GitHub

←MusicGen Nemotron 3 Diarization→