Hugging Face's logo

Transformers documentation

مُرمِّز Higgs Audio V2

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v5.22.1).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

تمت مساهمة هذا النموذج في Hugging Face Transformers في 2026-02-19.

مُرمِّز Higgs Audio V2

نظرة عامة

  • معدل إطارات منخفض: عند 25 إطاراً في الثانية، يُقلّل مُرمّزنا (tokenizer) معدل الإطارات إلى النصف مقارنةً بالعديد من الخطوط الأساس (baselines) مع الحفاظ على جودة صوتية عالية.
  • تدريب موحّد بمعدل 24 كيلوهرتز: نخلط مقاطع الكلام والموسيقى وأحداث الصوت في نموذج واحد، لالتقاط التفاصيل الدلالية والصوتية معاً، مما يسهّل بشكل كبير تدريب نماذج اللغة الصوتية.
  • استدلال سريع: من خلال تجنّب خطوات الانتشار، يعالج مُشفِّرنا/مُفكّكنا الدفعات بسرعة، مما يجعله عملياً للمهام الفورية أو واسعة النطاق.

بنية النموذج:

الاستخدام

from datasets import Audio, load_dataset

from transformers import AutoFeatureExtractor, HiggsAudioV2TokenizerModel


# load model and feature extractor
model_id = "eustlb/higgs-audio-v2-tokenizer"
feature_extractor = AutoFeatureExtractor.from_pretrained(model_id)
model = HiggsAudioV2TokenizerModel.from_pretrained(model_id, device_map="auto")

# load audio sample
dummy_dataset = load_dataset("hf-internal-testing/librispeech_asr_dummy", "clean", split="validation")
dummy_dataset = dummy_dataset.cast_column("audio", Audio(sampling_rate=feature_extractor.sampling_rate))
audio_sample = dummy_dataset[-1]["audio"]["array"]
inputs = feature_extractor(raw_audio=audio_sample, sampling_rate=feature_extractor.sampling_rate, return_tensors="pt").to(model.device)

# encode and decode
encoder_outputs = model.encode(inputs["input_values"])
decoder_outputs = model.decode(encoder_outputs.audio_codes)
audio_values = decoder_outputs.audio_values

# or the equivalent with a forward pass
audio_values = model(inputs["input_values"]).audio_values

HiggsAudioV2TokenizerConfig

فئة transformers.HiggsAudioV2TokenizerConfig

< >

( transformers_version: str | None = Nonearchitectures: list[str] | None = Noneoutput_hidden_states: bool | None = Falsereturn_dict: bool | None = Truedtype: str | torch.dtype | None = Nonechunk_size_feed_forward: int = 0is_encoder_decoder: bool = Falseid2label: dict[int, str] | dict[str, str] | None = Nonelabel2id: dict[str, int] | dict[str, str] | None = Noneproblem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = Nonetarget_bandwidths: list[int | float] | tuple[int | float, ...] = (0.5, 1, 1.5, 2, 4)sample_rate: int = 24000kernel_size: int = 3channel_ratios: list[int] | tuple[int, ...] = (1, 1)strides: list[int] | tuple[int, ...] = (1, 1)block_dilations: list[int] | tuple[int, ...] = (1, 1)unit_kernel_size: int = 3codebook_size: int = 1024codebook_dim: int = 64initializer_range: float = 0.02acoustic_model_config: dict | transformers.configuration_utils.PreTrainedConfig | None = Nonesemantic_model_config: dict | transformers.configuration_utils.PreTrainedConfig | None = Nonesemantic_sample_rate: int = 16000downsample_factor: int = 320 )

المعاملات

  • target_bandwidths (List[float]، اختياري، القيمة الافتراضية [0.5, 1, 1.5, 2]) — نطاق النطاقات الترددية المختلفة (بوحدة kbps) التي يمكن للنموذج ترميز الصوت بها.
  • sample_rate (int، اختياري، القيمة الافتراضية 24000) — معدل أخذ العينات الذي يجب أن تُرقَم به ملفات الصوت، معبّرًا عنه بالهرتز (Hz).
  • kernel_size (int، اختياري، القيمة الافتراضية 3) — حجم النواة للتمرير التجميعي الدلالي الأولي.
  • channel_ratios (List[float]، اختياري، القيمة الافتراضية [1, 1]) — عوامل التوسيع لعدد قنوات الإخراج في كل كتلة دلالية.
  • strides (List[int]، اختياري، القيمة الافتراضية [1, 1]) — خطوات لكل كتلة من مشفّرات الدلالات.
  • block_dilations (List[int]، اختياري، القيمة الافتراضية [1, 1]) — معاملات التمدد للوحدات المتبقية في الكتل الدلالية.
  • unit_kernel_size (int, اختياري، القيمة الافتراضية 3) — حجم النواة داخل كل وحدة ResidualUnit في الكتل الدلالية.
  • codebook_size (int، اختياري، القيمة الافتراضية 1024) — عدد كتيّبات الرموز المتوازية التي يستخدمها النموذج.
  • codebook_dim (int، اختياري، القيمة الافتراضية 64) — أبعاد متجه التضمين لكل كتاب رموز.
  • initializer_range (float، اختياري، القيمة الافتراضية 0.02) — الانحراف المعياري لـ truncated_normal_initializer المستخدم في تهيئة جميع مصفوفات الأوزان.
  • acoustic_model_config (Union[Dict, AutoConfig], اختياري) — مثال من إعدادات النموذج الصوتي (DAC).
  • semantic_model_config (Union[Dict, AutoConfig], اختياري) — مثال من كائن التهيئة الخاص بالنموذج الدلالي (HuBERT).
  • semantic_sample_rate (int، اختياري، القيمة الافتراضية 16000) — معدل أخذ العينات الذي يتوقع النموذج الدلالي إدخال الصوت به، بالهرتز (Hz).
  • downsample_factor (int، اختياري، القيمة الافتراضية 320) — معامل تقليل الدقة للميزات الدلالية.

هذه فئة الإعدادات المخزنة لإعدادات نموذج HiggsAudioV2TokenizerModel. تُستخدم لتوليد نموذج Higgs Audio V2 Tokenizer وفقاً للحجج المحددة، مع تعريف بنية النموذج. إن إنشاء إعدادات باستخدام القيم الافتراضية سيؤدي إلى الحصول على إعدادات مشابهة لتلك الخاصة بـ bosonai/higgs-audio-v2-tokenizer

ترث كائنات التهيئة من PreTrainedConfig ويمكن استخدامها للتحكم في مخرجات النموذج. اقرأ التوثيق الخاص بـ PreTrainedConfig لمزيد من المعلومات.

مثال:

>>> from transformers import HiggsAudioV2TokenizerModel, HiggsAudioV2TokenizerConfig

>>> # Initializing configuration
>>> configuration = HiggsAudioV2TokenizerConfig()

>>> # Initializing a model (with random weights) from the configuration
>>> model = HiggsAudioV2TokenizerModel(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config

HiggsAudioV2TokenizerModel

فئة transformers.HiggsAudioV2TokenizerModel

< >

( config: HiggsAudioV2TokenizerConfig )

المعاملات

  • config (HiggsAudioV2TokenizerConfig) — فئة إعدادات النموذج التي تحتوي على جميع معاملات النموذج. لا يؤدي التهيئة باستخدام ملف الإعدادات إلى تحميل الأوزان المرتبطة بالنموذج، بل الإعدادات فقط. راجع طريقة from_pretrained() لتحميل أوزان النموذج.

نموذج HiggsAudioV2Tokenizer لتشفير الصوت العصبي.

يرث هذا النموذج من PreTrainedModel. راجع توثيق الفئة الأصلية لمعرفة الطرق العامة التي تنفذها المكتبة لجميع نماذجها (مثل التحميل أو الحفظ، وتغيير حجم تضمينات الإدخال، وقص الرؤوس، وما إلى ذلك).

هذا النموذج هو أيضًا فئة فرعية من torch.nn.Module في PyTorch. استخدمه كوحدة PyTorch عادية، وارجع إلى توثيق PyTorch لكل ما يتعلق بالاستخدام العام والسلوك.

decode

< >

( audio_codes: Tensorreturn_dict: bool | None = None )

المعاملات

  • audio_codes (torch.LongTensor من الشكل (batch_size, num_quantizers, codes_length)) — فهارس رموز منفصلة محسوبة باستخدام model.encode.
  • return_dict (bool، اختياري) — ما إذا كان سيتم إرجاع ModelOutput

encode

< >

( input_values: Tensorbandwidth: float | None = Nonereturn_dict: bool | None = None )

المعاملات

  • input_values (torch.Tensor من الشكل (batch_size, channels, num_samples)) — قيم عشرية لموجة الصوت المدخلة.
  • bandwidth (float, اختياري) — النطاق الترددي المستهدف بوحدة (kbps) يدعم فقط القيم الموجودة في config.target_bandwidths. القيمة الافتراضية هي أعلى نطاق ترددي متاح 4.0 kbps.
  • return_dict (bool, اختياري) — ما إذا كان يجب إرجاع ModelOutput أم لا.

forward

< >

( input_values: Tensoraudio_codes: typing.Optional[torch.Tensor] = Nonebandwidth: float | None = None**kwargs: *<class 'transformers.utils.generic.TransformersKwargs'> ) → HiggsAudioV2TokenizerOutput or tuple (audio_codes, audio_values)

المعاملات

  • input_values (torch.Tensor من الشكل (batch_size, channels, num_samples)) — القيم العائمة الخام لموجة الصوت المدخلة.
  • audio_codes (torch.LongTensor من الشكل (batch_size, num_quantizers, codes_length) — فهارس رموز منفصلة محسوبة باستخدام model.encode.
  • bandwidth (float, اختياري) — النطاق الترددي المستهدف بوحدة كيلوبت في الثانية. يجب أن يكون أحد قيم config.target_bandwidths. القيمة الافتراضية هي أعلى نطاق ترددي متاح.
  • bandwidth (float, اختياري) — النطاق الترددي المستهدف بوحدة كيلوبت في الثانية. يجب أن يكون أحد قيم config.target_bandwidths. القيمة الافتراضية هي أعلى نطاق ترددي متاح.

يعيد

HiggsAudioV2TokenizerOutput أو مجموعة مرتبة (audio_codes, audio_values)

  • audio_codes من الشكل (batch_size, num_quantizers, codes_length): الرموز المنفصلة المُكمّاة.
  • audio_values من الشكل (batch_size, channels, num_samples): موجة الصوت المُعاد بناؤها بناءً على الرموز.

تُعيد طريقة HiggsAudioV2TokenizerModel الخاصة بالتقديم (forward) تعريف الطريقة الخاصة __call__.

على الرغم من أنه يجب تعريف وصفة المرور الأمامي داخل هذه الدالة، إلا أنه ينبغي استدعاء كائن Module بدلاً من هذه الدالة، لأن الكائن يتولى تنفيذ خطوات المعالجة المسبقة والمعالجة اللاحقة، بينما تتجاهل الدالة هذه الخطوات بصمت.

مثال:

>>> from datasets import load_dataset
>>> from transformers import AutoFeatureExtractor, HiggsAudioV2TokenizerModel

>>> model_id = "hf-audio/higgs_audio_v2_tokenizer-hubert-librispeech"
>>> model = HiggsAudioV2TokenizerModel.from_pretrained(model_id)
>>> feature_extractor = AutoFeatureExtractor.from_pretrained(model_id)

>>> dataset = load_dataset("hf-internal-testing/librispeech_asr_dummy", "clean", split="validation")
>>> dataset = dataset.cast_column("audio", Audio(sampling_rate=feature_extractor.sampling_rate))
>>> audio_sample = dataset[0]['audio']['array']

>>> inputs = feature_extractor(raw_audio=audio_sample, return_tensors="pt")

>>> outputs = model(**inputs)
>>> audio_codes = outputs.audio_codes
>>> audio_values = outputs.audio_values
Update on GitHub

←Higgs Audio V2 Hubert→