Parâmetros

• is_encoder_decoder (bool, opcional, padrão True) — Indica se o modelo é usado como encoder/decoder ou não.
• vocab_size (int, opcional, padrão 1025) — Tamanho do vocabulário do modelo. Define o número de tokens diferentes que podem ser representados pelos input_ids.
• decoder_hidden_size (int, opcional, padrão 640) — Tamanho oculto da rede de previsão LSTM (pred_hidden do NeMo). A rede conjunta projeta as saídas do codificador e do decodificador para esse tamanho (joint_hidden do NeMo, que todos os checkpoints conhecidos definem igual a pred_hidden).
• num_decoder_layers (int, opcional, padrão 2) — Número de camadas LSTM na rede de predição.
• hidden_act (str, opcional, padrão "relu") — Função de ativação na rede conjunta.
• max_symbols_per_step (int, opcional, padrão 10) — Número máximo de símbolos não vazios emitidos por passo de tempo do codificador durante a decodificação gulosa.
• encoder_config (Union[dict, NemotronAsrStreamingEncoderConfig], opcional) — O objeto de configuração ou dicionário do encoder.
• pad_token_id (int, opcional, padrão 0) — ID do token usado para preenchimento no vocabulário.
• blank_token_id (int, opcional, padrão 1024) — ID do token em branco. Diferente de pad_token_id para RNN-T.

Parâmetros

• hidden_size (int, opcional, padrão 1024) — Dimensão das representações ocultas.
• num_hidden_layers (int, opcional, padrão 24) — Número de camadas ocultas no decodificador do Transformer.
• num_attention_heads (int, opcional, padrão 8) — Número de cabeças de atenção para cada camada de atenção no decodificador do Transformer.
• intermediate_size (int, opcional, padrão 4096) — Dimensão das representações do MLP.
• hidden_act (str, opcional, padrão silu) — A função de ativação não linear (função ou string) no decodificador. Por exemplo, "gelu", "relu", "silu", etc.
• attention_bias (bool, opcional, padrão True) — Se deve usar um viés nas camadas de projeção de query, key, value e output durante a autoatenção.
• convolution_bias (bool, opcional, padrão True) — Indica se deve ser usado viés nas convoluções do módulo de convolução do conformer.
• conv_kernel_size (int, opcional, padrão 9) — O tamanho do kernel das camadas de convolução no bloco Conformer.
• subsampling_factor (int, opcional, padrão 8) — O fator pelo qual a sequência de entrada é subsampleada.
• subsampling_conv_channels (int, opcional, padrão 256) — O número de canais nas camadas de convolução de subsampling.
• num_mel_bins (int, opcional, padrão 80) — Número de recursos mel.
• subsampling_conv_kernel_size (int, opcional, padrão 3) — O tamanho do kernel das camadas de convolução de subsampling.
• subsampling_conv_stride (int, opcional, padrão 2) — O stride das camadas de convolução de subsampling.
• dropout (Union[float, int], opcional, padrão 0.1) — A proporção para todas as camadas de dropout.
• dropout_positions (float, opcional, padrão 0.0) — A taxa de dropout para as posições na sequência de entrada.
• layerdrop (Union[float, int], opcional, padrão 0.1) — A probabilidade do LayerDrop. Consulte o [artigo do LayerDrop](veja https://huggingface.co/papers/1909.11556) para mais detalhes.
• activation_dropout (Union[float, int], opcional, padrão 0.1) — A taxa de dropout para as ativações dentro da camada totalmente conectada.
• attention_dropout (Union[float, int], opcional, padrão 0.1) — A taxa de dropout para as probabilidades de atenção.
• max_position_embeddings (int, opcional, padrão 5000) — O comprimento máximo de sequência com o qual este modelo pode ser utilizado.
• scale_input (bool, opcional, padrão True) — Se as embeddings de entrada devem ser escalonadas.
• initializer_range (float, opcional, padrão 0.02) — O desvio padrão do truncated_normal_initializer para inicializar todas as matrizes de pesos.
• sliding_window (int, opcional, padrão 71) — Tamanho da janela deslizante de atenção K/V (em quadros de codificador subsampleados). É igual a left_context + 1 (o quadro atual mais o contexto à esquerda), portanto o contexto de atenção à esquerda é sliding_window - 1 — o mesmo para todos os lookaheads suportados.
• default_num_lookahead_tokens (int, opcional, padrão 13) — O contexto de atenção à direita (lookahead, em quadros de codificador subsampleados) usado quando nenhum é passado para o forward. O conjunto suportado com o qual o modelo foi treinado está em NemotronAsrStreamingProcessor.

Parâmetros

• feature_size (int, opcional, padrão 80) — A dimensão dos recursos das características extraídas.
• sampling_rate (int, opcional, padrão 16000) — A taxa de amostragem na qual os arquivos de áudio devem ser digitalizados, expressa em hertz (Hz).
• hop_length (int, opcional, padrão 160) — Comprimento das janelas sobrepostas para a STFT usada para obter os coeficientes de Frequência Mel.
• n_fft (int, opcional, padrão 512) — Tamanho da transformada de Fourier.
• win_length (int, opcional, padrão 400) — O comprimento da janela para o cálculo da STFT.
• preemphasis (float, opcional, padrão 0.97) — Coeficiente de um filtro de pré-ênfase. 0.0 significa que não há filtro de pré-ênfase.
• padding_value (float, opcional, padrão 0.0) — Valor de preenchimento usado para preencher o áudio. Deve corresponder a silêncios.
• mel_filters_dtype (str, opcional, padrão "float32") — Precisão do banco de filtros mel e da janela STFT armazenados. Alguns checkpoints mantêm essas constantes em uma precisão reduzida ("bfloat16" para Nemotron 3.5 Transcribe): o banco de filtros e a janela são então arredondados para esse dtype quando os recursos são calculados, de modo que os recursos log-mel correspondam ao front-end original; o espectrograma em si é sempre calculado em float32.

Parâmetros

• feature_extractor (NemotronAsrStreamingFeatureExtractor) — O extrator de recursos é uma entrada obrigatória.
• tokenizer (ParakeetTokenizer) — O tokenizer é uma entrada obrigatória.
• blank_token (str, opcional, padrão "<blank>") — Token em branco para decodificação RNN-T.
• supported_num_lookahead_tokens (list[int], opcional) — Contextos de atenção à direita (lookaheads, em frames de codificador subsampleados) com os quais o modelo foi treinado. O processador é a única fonte de verdade para esse conjunto: set_num_lookahead_tokens() valida com base nele. O padrão é o conjunto consciente de cache do NeMo [13, 6, 1, 0].
• default_num_lookahead_tokens (int, opcional) — O contexto à direita usado para dimensionar os blocos de streaming e emitido por call(); altere-o com set_num_lookahead_tokens(). O valor padrão é a primeira entrada de supported_num_lookahead_tokens.

Parâmetros

• last_hidden_state (torch.Tensor de forma (batch_size, sequence_length, hidden_size)) — Sequência de estados ocultos na saída da última camada do modelo.
• pooler_output (torch.Tensor de forma (batch_size, hidden_size)) — Estado oculto da última camada do primeiro token da sequência (token de classificação) após processamento adicional através das camadas usadas para a tarefa de pré-treinamento auxiliar. Por exemplo, para a família de modelos BERT, isso retorna o token de classificação após o processamento através de uma camada linear e uma função de ativação tanh. Os pesos da camada linear são treinados a partir do objetivo de previsão da próxima sentença (classificação) durante o pré-treinamento.
• hidden_states (tuple(torch.Tensor), opcional, retornado quando output_hidden_states=True é passado ou quando config.output_hidden_states=True) — Tupla de torch.Tensor (um para a saída dos embeddings, se o modelo tiver uma camada de embedding, + um para a saída de cada camada) de forma (batch_size, sequence_length, hidden_size).

  Estados ocultos do modelo na saída de cada camada, além das saídas opcionais do embedding inicial.

• attentions (tuple(torch.Tensor), opcional, retornado quando output_attentions=True é passado ou quando config.output_attentions=True) — Tupla de torch.Tensor (um para cada camada) com a forma (batch_size, num_heads, sequence_length, sequence_length).

  Pesos de atenção após o softmax de atenção, usados para calcular a média ponderada nos cabeçalhos de autoatenção.

• attention_mask (torch.Tensor de forma (batch_size, sequence_length), opcional) — Máscara para evitar a execução de atenção nos índices de tokens de preenchimento após a compressão da sequência. Retornada porque o comprimento da sequência pode diferir do comprimento da sequência de entrada. Valores da máscara selecionados em [0, 1]:
  • 1 para tokens que não estão mascarados,
  • 0 para tokens que estão mascarados.
• past_key_values (Cache, optional) — Updated attention K/V sliding-window cache from the encoder. Pass to the next chunk call.
• padding_cache (NemotronAsrStreamingEncoderCausalConvPaddingCache, opcional) — Cache de streaming unificado que sustenta as camadas Conv2d de subsampling e o Conv1d depthwise do conformer.

Parâmetros

• config (NemotronAsrStreamingEncoderConfig) — Classe de configuração do modelo com todos os parâmetros do modelo. A inicialização com um arquivo de configuração não carrega os pesos associados ao modelo, apenas a configuração. Consulte o método from_pretrained() para carregar os pesos do modelo.

Parâmetros

• config (NemotronAsrStreamingConfig) — Classe de configuração do modelo com todos os parâmetros do modelo. A inicialização com um arquivo de configuração não carrega os pesos associados ao modelo, apenas a configuração. Consulte o método from_pretrained() para carregar os pesos do modelo.