Parâmetros

• is_encoder_decoder (bool, opcional, padrão True) — Indica se o modelo é usado como encoder/decoder ou não.
• vocab_size (int, opcional, padrão 13088) — Tamanho do vocabulário da saída da rede conjunta (incluindo o token em branco).
• decoder_hidden_size (int, opcional, padrão 640) — Tamanho oculto da rede de previsão LSTM (pred_hidden do NeMo).
• num_decoder_layers (int, opcional, padrão 2) — Número de camadas LSTM na rede de predição.
• hidden_act (str, opcional, padrão "relu") — Função de ativação na rede conjunta.
• max_symbols_per_step (int, opcional, padrão 10) — Número máximo de símbolos não vazios emitidos por passo de tempo do codificador durante a decodificação gulosa.
• encoder_config (Union[dict, NemotronAsrStreamingEncoderConfig], opcional) — O objeto de configuração ou dicionário do encoder. Reutiliza diretamente NemotronAsrStreamingEncoderConfig, pois o encoder é idêntico ao de NemotronAsrStreaming.
• pad_token_id (int, opcional, padrão 0) — ID do token usado para preenchimento no vocabulário.
• blank_token_id (int, opcional, padrão 13087) — ID do token em branco para decodificação RNN-T.
• num_prompts (int, opcional, padrão 128) — Número de slots de prompt de linguagem. O idioma alvo é codificado como um vetor one-hot deste tamanho, transmitido ao longo do eixo temporal do codificador e concatenado com a saída do codificador antes do MLP de fusão prompt_kernel.
• prompt_intermediate_size (int, opcional, padrão 2048) — Tamanho oculto do MLP de fusão prompt_kernel (Linear(hidden + num_prompts -> intermediate) -> ReLU -> Linear(intermediate -> hidden)).
• default_prompt_id (int, opcional, padrão 101) — Índice do prompt usado para condicionar o modelo quando prompt_ids não é fornecido. O padrão é o slot de detecção de idioma auto (índice 101 no dicionário de prompts do NeMo), correspondendo ao padrão do NeMo de target_lang="auto": o modelo detecta o idioma por conta própria e emite uma tag <xx-XX>.

Parâmetros

• feature_extractor (NemotronAsrStreamingFeatureExtractor) — O extrator de recursos é uma entrada obrigatória.
• tokenizer (ParakeetTokenizer) — O tokenizer é uma entrada obrigatória.
• blank_token (str, opcional, padrão "<blank>") — Token em branco para decodificação RNN-T.
• decoder_type (str, opcional) — Modo de decodificação/emissão de timestamps (por exemplo, "ctc", "rnnt", "tdt"). Se None, o tipo de decodificador é inferido automaticamente para compatibilidade reversa.
• supported_num_lookahead_tokens (list[int], opcional) — Contextos de atenção à direita suportados (lookaheads, em quadros de codificador subsampleados), espelhando NemotronAsrStreamingEncoderConfig.supported_num_lookahead_tokens. Usado para validar streaming_latency_ms e para derivar o num_lookahead_tokens retornado.
• default_num_lookahead_tokens (int, opcional) — O contexto à direita usado quando streaming_latency_ms não é fornecido. O valor padrão é a primeira entrada de supported_num_lookahead_tokens.
• prompt_dictionary (dict[str, int], opcional) — Mapeamento de uma string de idioma de destino (por exemplo, "en-US", "de-DE", o código simples "de" ou "auto") para o índice do prompt. O padrão é o dicionário de prompts do checkpoint do NeMo.
• num_prompts (int, opcional, padrão 128) — Número de slots de prompt de linguagem (tamanho do vetor one-hot de prompt), espelhando Nemotron3_5AsrConfig.num_prompts.

Parâmetros

• last_hidden_state (torch.Tensor de forma (batch_size, sequence_length, hidden_size)) — Sequência de estados ocultos na saída da última camada do modelo.
• pooler_output (torch.Tensor de forma (batch_size, hidden_size)) — Estado oculto da última camada do primeiro token da sequência (token de classificação) após processamento adicional através das camadas usadas para a tarefa de pré-treinamento auxiliar. Por exemplo, para a família de modelos BERT, isso retorna o token de classificação após o processamento através de uma camada linear e uma função de ativação tanh. Os pesos da camada linear são treinados a partir do objetivo de previsão da próxima sentença (classificação) durante o pré-treinamento.
• hidden_states (tuple(torch.Tensor), opcional, retornado quando output_hidden_states=True é passado ou quando config.output_hidden_states=True) — Tupla de torch.Tensor (um para a saída dos embeddings, se o modelo tiver uma camada de embedding, + um para a saída de cada camada) de forma (batch_size, sequence_length, hidden_size).

  Estados ocultos do modelo na saída de cada camada, além das saídas opcionais do embedding inicial.

• attentions (tuple(torch.Tensor), opcional, retornado quando output_attentions=True é passado ou quando config.output_attentions=True) — Tupla de torch.Tensor (um para cada camada) com a forma (batch_size, num_heads, sequence_length, sequence_length).

  Pesos de atenção após o softmax de atenção, usados para calcular a média ponderada nos cabeçalhos de autoatenção.

• loss (torch.Tensor, opcional, retornado quando labels é fornecido) — Perda do transdutor RNN-T.
• logits (torch.Tensor de forma (batch_size, encoder_length, decoder_length, vocab_size + 1)) — Pontuações da rede conjunta sobre o vocabulário mais o símbolo vazio, para cada par de quadros de codificador/decodificador.
• decoder_cache (Nemotron3_5AsrRNNTDecoderCache, opcional) — Cache atualizado do LSTM do decoder. Reutilizado em previsões de blank para pular a etapa do LSTM.
• encoder_past_key_values (Cache, optional) — Updated encoder attention K/V sliding-window cache, returned when encoding audio with use_cache=True (cache-aware streaming). Pass it to the next chunk’s forward.
• padding_cache (NemotronAsrStreamingEncoderCausalConvPaddingCache, opcional) — Cache unificado de streaming conv atualizado (subsampling Conv2d + conformer depthwise Conv1d), retornado ao codificar áudio com use_cache=True. Passe-o para o próximo chunk no forward.

Parâmetros

• config (Nemotron3_5AsrConfig) — Classe de configuração do modelo com todos os parâmetros do modelo. A inicialização com um arquivo de configuração não carrega os pesos associados ao modelo, apenas a configuração. Consulte o método from_pretrained() para carregar os pesos do modelo.