Transformers documentation

Nemotron 3 Diarization

Transformers

ابدأ الآن

Transformers التثبيت البدء السريع

الفئات الأساسية

النماذج

المعالجات المسبقة

الاستدلال

واجهة برمجة التطبيقات Pipeline

توليد واجهة برمجة التطبيقات

التحسين

التحدث مع النماذج

التقديم

التدريب

ابدأ الآن

التخصيص

ضبط دقيق فعّال من حيث المعلمات

الأداء

التدريب الموزّع

الأجهزة

التكميم

التكاملات مع النظام البيئي

الموارد

واجهة برمجة التطبيقات

الفئات الرئيسية

النماذج

نماذج النصوص

نماذج الرؤية

نماذج الصوت

نماذج الفيديو

النماذج متعددة الوسائط

نماذج التعلم المعزز

نماذج السلاسل الزمنية

أدوات مساعدة داخلية

مرجع

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v5.22.1).

Join the Hugging Face community

and get access to the augmented documentation experience

Collaborate on models, datasets and Spaces

Faster examples with accelerated inference

Switch between documentation themes

to get started

تمت مساهمة هذا النموذج في Hugging Face Transformers في 2026-09-23.

Nemotron 3 Diarization

نظرة عامة

Nemotron 3 Diarization هو نموذج مفتوح الأوزان لتوزيع المتحدثين في البث المباشر، مصمم لتحديد “من تحدث ومتى” في الصوت الواقعي. يدعم الاستدلال في البث المباشر والاستدلال دون اتصال، ويتعامل مع ما يصل إلى ثمانية متحدثين، ويرتب مخرجات المتحدثين حسب أول ظهور لكل متحدث في الصوت المدخل.

يستخدم النموذج ذاكرة المتحدث بترتيب الوصول (AOSC) 1 وطابور FIFO التي أُدخلت في Streaming Sortformer 1، 2. يدعم نقطة تفتيش واحدة ملفات كسلان قابلة للضبط، بدءًا من مخزن إدخال بحجم 80 مللي ثانية وصولاً إلى مخزن بنمط غير متصل بحجم 30.4 ثانية، بالإضافة إلى دقة إطار الإخراج القابلة للضبط بمضاعفات 10 مللي ثانية. مع الاستدلال المقطعي، لا يوجد حد أقصى لمدة الصوت.

الاستخدام

دون اتصال

import torch
from transformers import AutoModelForAudioFrameClassification, AutoProcessor
from transformers.audio_utils import load_audio

model_id = "nvidia/Nemotron-3-Diarization"
processor = AutoProcessor.from_pretrained(model_id)
model = AutoModelForAudioFrameClassification.from_pretrained(model_id, device_map="auto")

sampling_rate = processor.feature_extractor.sampling_rate
audio = load_audio(
    "https://huggingface.co/datasets/hf-internal-testing/dummy-audio-samples/resolve/main/diarization_example.mp3",
    sampling_rate=sampling_rate,
)
inputs = processor(audio, sampling_rate=sampling_rate).to(model.device, dtype=model.dtype)

with torch.inference_mode():
    logits = model(**inputs).logits  # (1, num_frames, 8), one frame every 10 ms

segments = processor.extract_speaker_dict(logits, inputs.attention_mask)[0]
for segment in segments:
    print(f"speaker_{segment['Speaker']}: {segment['Start']:.2f}s - {segment['End']:.2f}s")

البث

تصل البيانات الصوتية على شكل مقاطع متتالية، ويتعامل كل استدعاء أمامي مع مقطع واحد: يقوم المعالج بقصّه وفقاً لـstreaming_mode الخاص به، ويضيف num_lookahead_frames، وهو عدد إطارات الاستباق الخلفية التي يوليها النموذج انتباهه دون تقييمها، نظراً لأنها تفتح المقطع التالي. يعيد الاستدعاء الأمامي speaker_cache ليتم تمريره إلى الاستدعاء التالي. يتم استخراج المقطع الأخير من الجلسة باستخدام is_last_audio_chunk=True: إذ لا يحتوي على إطارات استباقية، وبالتالي يتم تقييم جميع الإطارات المتبقية.

`streaming_mode`	زمن الاستجابة¹
`"low_latency"` (الافتراضي)	1.04 s
`"very_low_latency"`	0.64 s
`"ultra_low_latency"`	0.32 s

¹ الصوت الذي يجب الانتظار قبل أن يعمل النموذج على مقطع: المقطع مع استشرافه، باستثناء وقت الحساب.

import torch
from transformers import AutoModelForAudioFrameClassification, AutoProcessor
from transformers.audio_utils import load_audio

model_id = "nvidia/Nemotron-3-Diarization"
processor = AutoProcessor.from_pretrained(model_id)
model = AutoModelForAudioFrameClassification.from_pretrained(model_id, device_map="auto")
processor.set_streaming_mode("low_latency")  # the default, can also be "very_low_latency" and "ultra_low_latency"
print(f"Streaming latency: {processor.streaming_latency_ms} ms")

sampling_rate = processor.feature_extractor.sampling_rate
audio = load_audio(
    "https://huggingface.co/datasets/hf-internal-testing/dummy-audio-samples/resolve/main/diarization_example.mp3",
    sampling_rate=sampling_rate,
)


def inputs_generator():
    """Yields the processor outputs of each chunk."""
    yield processor(
        audio[: processor.num_samples_first_audio_chunk],
        sampling_rate=sampling_rate,
        is_streaming=True,
        is_first_audio_chunk=True,
    )

    mel_frame_idx = processor.num_mel_frames_per_step
    start_idx = processor.audio_chunk_start(mel_frame_idx)
    while (end_idx := start_idx + processor.num_samples_per_audio_chunk) <= audio.shape[0]:
        yield processor(
            audio[start_idx:end_idx],
            sampling_rate=sampling_rate,
            is_streaming=True,
            is_first_audio_chunk=False,
        )
        mel_frame_idx += processor.num_mel_frames_per_step
        start_idx = processor.audio_chunk_start(mel_frame_idx)

    # the audio ended: the frames left in the buffer are the last ones of the session
    yield processor(
        audio[start_idx:],
        sampling_rate=sampling_rate,
        is_streaming=True,
        is_first_audio_chunk=False,
        is_last_audio_chunk=True,
    )


speaker_cache, logits = None, []
with torch.inference_mode():
    for inputs in inputs_generator():
        inputs = inputs.to(model.device, dtype=model.dtype)
        # `inputs` carries `num_lookahead_frames` for every chunk but the last, `speaker_cache` links the chunks
        outputs = model(**inputs, speaker_cache=speaker_cache)
        logits.append(outputs.logits)  # the chunk's frames, without its look-ahead
        speaker_cache = outputs.speaker_cache

logits = torch.cat(logits, dim=1)  # (1, num_frames, 8), one frame every 10 ms
segments = processor.extract_speaker_dict(logits)[0]  # [{"Start": 0.0, "End": 15.43, "Speaker": 0}, ...]

تسريع الأداء

مدخل المُشفِّر في خطوة البث هو [speaker cache | FIFO | chunk]، حيث يتغير طول المدخل مع امتلاء ذاكرة التخزين المؤقت وFIFO وانكماشهما: فسيؤدي torch.compile إلى إعادة التجميع حوالي مئة مرة في الجلسة الواحدة. حشو كل خطوة حتى أكبر نافذة في الوضع يُثبّت الشكل. تبدأ المواضع من الصفر في كل مقطع، لذا فإن الحشو الأيمن لا يغيّر الإطارات الصالحة:

import torch.nn.functional as F

chunk_length, chunk_right_context = processor.streaming_modes[processor.streaming_mode]
max_window = (
    model.config.streaming_config.speaker_cache_length
    + model.config.streaming_config.fifo_length
    + chunk_length
    + chunk_right_context
)
encoder = model.model
compiled_forward = torch.compile(encoder.forward, mode="reduce-overhead", fullgraph=True, dynamic=False)


def padded_forward(inputs_embeds, attention_mask=None, position_ids=None, **kwargs):
    batch_size, num_frames, _ = inputs_embeds.shape
    if attention_mask is None:
        attention_mask = inputs_embeds.new_ones(batch_size, num_frames, dtype=torch.bool)
    padding = max_window - num_frames
    hidden_states = compiled_forward(
        inputs_embeds=F.pad(inputs_embeds, (0, 0, 0, padding)),
        attention_mask=F.pad(attention_mask.bool(), (0, padding), value=False),
        position_ids=torch.arange(max_window, device=inputs_embeds.device)[None, :],
        **kwargs,
    )
    return hidden_states[:, :num_frames].clone()  # CUDA graphs reuse the output buffer


encoder.forward = padded_forward

# warm up before the session: compiles, then records the CUDA graph, so the first real chunk runs at full speed
with torch.inference_mode():
    for _ in range(3):
        hidden_size = model.config.audio_config.hidden_size
        padded_forward(torch.zeros(1, max_window, hidden_size, device=model.device, dtype=model.dtype))

يُجمَّع حلقة البث أعلاه مرة واحدة. وتُقسّم الأمامية غير المتصلة بالطريقة نفسها، لذا ينطبق نفس الغلاف مع config.fifo_length وconfig.chunk_left_context وconfig.chunk_length وconfig.chunk_right_context داخل max_window.

التسريع مقارنةً بالتنفيذ الفوري (A100، حجم الدفعة 1)	float32	bfloat16
بث، لكل خطوة	1.2x	4.4x
دون اتصال، تسجيل لمدة 488 ثانية	1.3x	2.8x

Transformers

Nemotron 3 Diarization

نظرة عامة

الاستخدام

دون اتصال

البث

تسريع الأداء

Nemotron3DiarizationConfig

فئة transformers.Nemotron3DiarizationConfig

Nemotron3DiarizationAudioConfig

فئة transformers.Nemotron3DiarizationAudioConfig

Nemotron3DiarizationHeadConfig

فئة transformers.Nemotron3DiarizationHeadConfig

Nemotron3DiarizationStreamingConfig

فئة transformers.Nemotron3DiarizationStreamingConfig

Nemotron3DiarizationAudioModel

فئة transformers.Nemotron3DiarizationAudioModel

forward

Nemotron3DiarizationModel

فئة transformers.Nemotron3DiarizationModel

forward

Nemotron3DiarizationProcessor

فئة transformers.Nemotron3DiarizationProcessor

__call__

Nemotron3DiarizationSpeakerCache

فئة transformers.Nemotron3DiarizationSpeakerCache

تحديث

Nemotron3DiarizationOutput

فئة transformers.Nemotron3DiarizationOutput

Nemotron3DiarizationForAudioFrameClassification

فئة transformers.Nemotron3DiarizationForAudioFrameClassification

forward

call