Este modelo foi publicado em papers do HF em 2024-08-30 e contribuído para o Hugging Face Transformers em 2025-08-15.

X-Codec

Visão geral

O modelo X-Codec foi proposto em Codec Does Matter: Exploring the Semantic Shortcoming of Codec for Audio Language Model por Zhen Ye, Peiwen Sun, Jiahe Lei, Hongzhan Lin, Xu Tan, Zheqi Dai, Qiuqiang Kong, Jianyi Chen, Jiahao Pan, Qifeng Liu, Yike Guo, Wei Xue.

O modelo X-Codec é um codec de áudio neural que integra informações semânticas de modelos autorregressivos (por exemplo, HuBERT) junto com informações acústicas tradicionais. Isso permite:

• Continuação de música: Um melhor modelamento da semântica musical gera continuações mais coerentes.
• Síntese de texto para som: o X-Codec captura o alinhamento semântico entre os prompts de texto e o áudio gerado.
• Tokenização de áudio com consciência semântica: o X-Codec é usado como um tokenizador de áudio no modelo de geração de música a partir de letras do YuE.

O resumo do artigo afirma o seguinte:

Os avanços recentes na geração de áudio foram impulsionados significativamente pelas capacidades dos Large Language Models (LLMs). A pesquisa existente em LLMs de áudio tem se concentrado principalmente no aprimoramento da arquitetura e da escala dos modelos de linguagem de áudio, bem como no uso de conjuntos de dados maiores. De modo geral, codecs acústicos, como o EnCodec, são utilizados para a tokenização de áudio. No entanto, esses codecs foram originalmente projetados para compressão de áudio, o que pode levar a um desempenho subótimo no contexto de LLMs de áudio. Nossa pesquisa visa abordar as deficiências dos codecs atuais de LLMs de áudio, em particular seus desafios em manter a integridade semântica no áudio gerado. Por exemplo, métodos existentes, como o VALL-E, que condicionam a geração de tokens acústicos em transcrições de texto, frequentemente sofrem com imprecisões de conteúdo e taxas de erro de palavra (WER) elevadas devido a interpretações semânticas incorretas dos tokens acústicos, resultando em omissões e erros de palavras. Para superar esses problemas, propomos uma abordagem simples, porém eficaz, chamada X-Codec. O X-Codec incorpora recursos semânticos de um codificador semântico pré-treinado antes do estágio de Residual Vector Quantization (RVQ) e introduz uma perda de reconstrução semântica após o RVQ. Ao aprimorar a capacidade semântica do codec, o X-Codec reduz significativamente o WER em tarefas de síntese de fala e estende esses benefícios a aplicações não vocais, incluindo a geração de música e de sons. Nossos experimentos em tarefas de texto-para-fala, continuação de música e texto-para-som demonstram que a integração de informações semânticas melhora substancialmente o desempenho geral dos modelos de linguagem na geração de áudio.

Cartões de modelo:

• xcodec-hubert-librispeech (para fala)
• xcodec-wavlm-mls (para fala)
• xcodec-wavlm-more-data (para fala)
• xcodec-hubert-general (para áudio geral)
• xcodec-hubert-general-balanced (para áudio geral)

Este modelo foi contribuído por Manal El Aidouni. O código original pode ser encontrado aqui e os checkpoints originais dos cinco modelos diferentes aqui.

Os demos podem ser encontrados nesta página.

Exemplo de uso

Aqui está um exemplo rápido de como codificar e decodificar um áudio usando este modelo:

from datasets import Audio, load_dataset

from transformers import AutoFeatureExtractor, XcodecModel


dummy_dataset = load_dataset("hf-internal-testing/librispeech_asr_dummy", "clean", split="validation")

# load model and feature extractor
model_id = "hf-audio/xcodec-hubert-librispeech"
model = XcodecModel.from_pretrained(model_id, device_map="auto")
feature_extractor = AutoFeatureExtractor.from_pretrained(model_id)

# load audio sample
dummy_dataset = dummy_dataset.cast_column("audio", Audio(sampling_rate=feature_extractor.sampling_rate))
audio_sample = dummy_dataset[-1]["audio"]["array"]
inputs = feature_extractor(raw_audio=audio_sample, sampling_rate=feature_extractor.sampling_rate, return_tensors="pt").to(model.device)

# encode and decode
encoder_outputs = model.encode(inputs["input_values"])
decoder_outputs = model.decode(encoder_outputs.audio_codes)
audio_values = decoder_outputs.audio_values

# or the equivalent with a forward pass
audio_values = model(inputs["input_values"]).audio_values

Para ouvir o áudio original e reconstruído, execute o trecho de código abaixo e, em seguida, abra os arquivos gerados original.wav e reconstruction.wav no seu player de música para comparar.

import soundfile as sf


original = audio_sample
reconstruction = audio_values[0].cpu().detach().numpy()
sampling_rate = feature_extractor.sampling_rate

sf.write("original.wav", original, sampling_rate)
sf.write("reconstruction.wav", reconstruction.T, sampling_rate)

XcodecConfig

>>> from transformers import XcodecModel, XcodecConfig

>>> # Initializing configuration
>>> configuration = XcodecConfig()

>>> # Initializing a model (with random weights) from the configuration
>>> model = XcodecModel(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config

XcodecModel

>>> from datasets import load_dataset
>>> from transformers import AutoFeatureExtractor, XcodecModel

>>> model_id = "hf-audio/xcodec-hubert-librispeech"
>>> model = XcodecModel.from_pretrained(model_id)
>>> feature_extractor = AutoFeatureExtractor.from_pretrained(model_id)

>>> dataset = load_dataset("hf-internal-testing/librispeech_asr_dummy", "clean", split="validation")
>>> dataset = dataset.cast_column("audio", Audio(sampling_rate=feature_extractor.sampling_rate))
>>> audio_sample = dataset[0]['audio']['array']

>>> inputs = feature_extractor(raw_audio=audio_sample, return_tensors="pt")

>>> outputs = model(**inputs)
>>> audio_codes = outputs.audio_codes
>>> audio_values = outputs.audio_values