Parâmetros

• vocab_size (int, opcional) — Tamanho do vocabulário do modelo. Define o número de tokens diferentes que podem ser representados pelos input_ids.
• hidden_size (int, opcional, padrão 768) — Dimensão das representações ocultas.
• num_hidden_layers (int, opcional, padrão 12) — Número de camadas ocultas no decodificador do Transformer.
• num_attention_heads (int, opcional, padrão 12) — Número de cabeças de atenção para cada camada de atenção no decodificador do Transformer.
• intermediate_size (int, opcional, padrão 3072) — Dimensão das representações do MLP.
• hidden_act (str, opcional, padrão gelu) — A função de ativação não linear (função ou string) no decodificador. Por exemplo, "gelu", "relu", "silu", etc.
• hidden_dropout (Union[float, int], opcional, padrão 0.1) — A probabilidade de dropout para todas as camadas totalmente conectadas nos embeddings, encoder e pooler.
• activation_dropout (Union[float, int], opcional, padrão 0.1) — A taxa de dropout para as ativações dentro da camada totalmente conectada.
• attention_dropout (Union[float, int], opcional, padrão 0.1) — A taxa de dropout para as probabilidades de atenção.
• feat_proj_dropout (float, opcional, padrão 0.0) — A probabilidade de dropout para a saída do codificador de recursos.
• feat_quantizer_dropout (float, opcional, padrão 0.0) — A probabilidade de dropout para a saída do codificador de recursos usado pelo quantizador.
• final_dropout (float, opcional, padrão 0.1) — A probabilidade de dropout para a camada de projeção final de Wav2Vec2ConformerForCTC.
• layerdrop (Union[float, int], opcional, padrão 0.1) — A probabilidade do LayerDrop. Consulte o [artigo do LayerDrop](veja https://huggingface.co/papers/1909.11556) para mais detalhes.
• initializer_range (float, opcional, padrão 0.02) — O desvio padrão do truncated_normal_initializer para inicializar todas as matrizes de pesos.
• layer_norm_eps (float, opcional, padrão 1e-05) — O epsilon usado pelas camadas de normalização de camada.
• feat_extract_norm (str, opcional, padrão "group") — A normalização a ser aplicada às camadas convolucionais 1D no codificador de recursos. Pode ser "group" para normalização por grupo apenas da primeira camada convolucional 1D ou "layer" para normalização por camada de todas as camadas convolucionais 1D.
• feat_extract_activation (str, optional, defaults to “gelu”) -- The non-linear activation function (function or string) in the 1D convolutional layers of the feature extractor. If string, “gelu”, “relu”, “selu”and“gelu_new”` are supported.
• conv_dim (tuple[int] ou list[int], opcional, padrão (512, 512, 512, 512, 512, 512, 512)) — Uma tupla de inteiros que define o número de canais de entrada e saída de cada camada convolucional 1D no codificador de recursos. O comprimento de conv_dim define o número de camadas convolucionais 1D.
• conv_stride (tuple[int] ou list[int], opcional, padrão (5, 2, 2, 2, 2, 2, 2)) — Uma tupla de inteiros que define o stride de cada camada convolucional 1D no codificador de recursos. O comprimento de conv_stride define o número de camadas convolucionais e deve corresponder ao comprimento de conv_dim.
• conv_kernel (tuple[int] ou list[int], opcional, padrão (10, 3, 3, 3, 3, 3, 3)) — Uma tupla de inteiros que define o tamanho do kernel de cada camada convolucional 1D no codificador de recursos. O tamanho de conv_kernel define o número de camadas convolucionais e deve corresponder ao tamanho de conv_dim.
• conv_bias (bool, opcional, padrão False) — Indica se as camadas de convolução 1D possuem viés.
• num_conv_pos_embeddings (int, opcional, padrão 128) — Número de embeddings posicionais convolucionais. Define o tamanho do kernel da camada de embeddings posicionais convolucionais 1D.
• num_conv_pos_embedding_groups (int, opcional, padrão 16) — Número de grupos da camada de embeddings posicionais convolucionais 1D.
• apply_spec_augment (bool, opcional, padrão True) — Indica se a ampliação de dados SpecAugment deve ser aplicada às saídas do codificador de recursos. Para referência, consulte SpecAugment: A Simple Data Augmentation Method for Automatic Speech Recognition.
• mask_time_prob (float, optional, defaults to 0.05) — Percentage (between 0 and 1) of all feature vectors along the time axis which will be masked. The masking procedure generates ”mask_time_problen(time_axis)/mask_time_length” independent masks over the axis. If reasoning from the probability of each feature vector to be chosen as the start of the vector span to be masked, mask_time_prob should be `prob_vector_startmask_time_length. Note that overlap may decrease the actual percentage of masked vectors. This is only relevant if apply_spec_augment is True`.
• mask_time_length (int, opcional, padrão 10) — Comprimento da extensão do vetor ao longo do eixo do tempo.
• mask_time_min_masks (int, opcional, padrão 2), — O número mínimo de máscaras de comprimento mask_feature_length geradas ao longo do eixo do tempo, em cada passo de tempo, independentemente de mask_feature_prob. Relevante apenas se ”mask_time_prob*len(time_axis)/mask_time_length < mask_time_min_masks”
• mask_feature_prob (float, optional, defaults to 0.0) — Percentage (between 0 and 1) of all feature vectors along the feature axis which will be masked. The masking procedure generates ”mask_feature_problen(feature_axis)/mask_time_length” independent masks over the axis. If reasoning from the probability of each feature vector to be chosen as the start of the vector span to be masked, mask_feature_prob should be `prob_vector_startmask_feature_length. Note that overlap may decrease the actual percentage of masked vectors. This is only relevant if apply_spec_augment is True`.
• mask_feature_prob (Union[float, int], opcional, padrão 0.0) — Porcentagem (entre 0 e 1) de todos os vetores de recursos ao longo do eixo de recursos que serão mascarados. O procedimento de mascaramento gera mask_feature_prob*len(feature_axis)/mask_time_length máscaras independentes sobre o eixo. Se o raciocínio for feito a partir da probabilidade de cada vetor de recurso ser escolhido como o início do espano de vetores a ser mascarado, mask_feature_prob deve ser prob_vector_start*mask_feature_length. Observe que a sobreposição pode diminuir a porcentagem real de vetores mascarados. Isso é relevante apenas se apply_spec_augment for True.
• mask_feature_length (int, opcional, padrão 10) — Comprimento da extensão do vetor ao longo do eixo de recursos.
• mask_feature_min_masks (int, opcional, padrão 0), — O número mínimo de máscaras de comprimento mask_feature_length geradas ao longo do eixo de recursos, a cada passo de tempo, independentemente de mask_feature_prob. Relevante apenas se ”mask_feature_prob*len(feature_axis)/mask_feature_length < mask_feature_min_masks”
• num_codevectors_per_group (int, opcional, padrão 320) — Número de entradas em cada livro de quantização (grupo).
• num_codevectors_per_group (int, opcional, padrão 320) — Número de entradas em cada livro de quantização (grupo).
• num_codevector_groups (int, opcional, padrão 2) — Número de grupos de codevector para quantização de codevector por produto.
• contrastive_logits_temperature (float, opcional, padrão 0.1) — A temperatura kappa na perda contrastiva.
• num_negatives (int, opcional, padrão 100) — Número de amostras negativas para a perda contrastiva.
• codevector_dim (int, opcional, padrão 256) — Dimensão dos vetores de recursos quantizados.
• proj_codevector_dim (int, opcional, padrão 256) — Dimensão da projeção final tanto das features quantizadas quanto das features do transformer.
• diversity_loss_weight (int, opcional, padrão 0.1) — O peso do componente de perda de diversidade do codebook.
• ctc_loss_reduction (str, opcional, padrão sum) — Especifica a redução a ser aplicada à saída de torch.nn.CTCLoss. Relevante apenas durante o treinamento.
• ctc_zero_infinity (bool, opcional, padrão False) — Se deve zerar perdas infinitas e os gradientes associados de torch.nn.CTCLoss. Perdas infinitas ocorrem principalmente quando as entradas são curtas demais para serem alinhadas aos alvos. Relevante apenas ao treinar uma instância de Wav2Vec2ConformerForCTC.
• use_weighted_layer_sum (bool, opcional, padrão False) — Se deve usar uma média ponderada das saídas das camadas com pesos aprendidos. Relevante apenas ao usar uma instância de Wav2Vec2ConformerForSequenceClassification.
• classifier_proj_size (int, opcional, padrão 256) — Dimensão da projeção antes do token mean-pooling para classificação.
• tdnn_dim (tuple[int] ou list[int], opcional, padrão (512, 512, 512, 512, 1500)) — Uma tupla de inteiros que define o número de canais de saída de cada camada de convolução 1D no módulo TDNN do modelo XVector. O comprimento de tdnn_dim define o número de camadas TDNN.
• tdnn_kernel (tuple[int] ou list[int], opcional, padrão (5, 3, 3, 1, 1)) — Uma tupla de inteiros que define o tamanho do kernel de cada camada de convolução 1D no módulo TDNN do modelo XVector. O comprimento de tdnn_kernel deve corresponder ao comprimento de tdnn_dim.
• tdnn_dilation (tuple[int] ou list[int], opcional, padrão (1, 2, 3, 1, 1)) — Uma tupla de inteiros que define o fator de dilatação de cada camada de convolução 1D no módulo TDNN do modelo XVector. O comprimento de tdnn_dilation deve corresponder ao comprimento de tdnn_dim.
• xvector_output_dim (int, opcional, padrão 512) — Dimensão dos vetores de incorporação XVector.
• pad_token_id (int, opcional, padrão 0) — ID do token usado para preenchimento no vocabulário.
• bos_token_id (int, opcional, padrão 1) — ID do token usado para o início do fluxo no vocabulário.
• eos_token_id (Union[int, list[int]], opcional, padrão 2) — ID do token usado para o fim do fluxo no vocabulário.
• add_adapter (bool, opcional, padrão False) — Se uma rede convolucional deve ser empilhada sobre o Encoder Wav2Vec2Conformer. Pode ser muito útil para iniciar o treinamento (warm-start) do Wav2Vec2Conformer para modelos SpeechEncoderDecoder.
• adapter_kernel_size (int, opcional, padrão 3) — Tamanho do kernel das camadas convolucionais na rede do adaptador. Relevante apenas se add_adapter is True.
• adapter_stride (int, opcional, padrão 2) — Passo das camadas convolucionais na rede de adaptador. Relevante apenas se add_adapter is True.
• num_adapter_layers (int, opcional, padrão 3) — Número de camadas convolucionais que devem ser usadas na rede de adaptador. Relevante apenas se add_adapter is True.
• output_hidden_size (int, opcional) — Dimensão da camada de saída do codificador. Se não for definida, o valor padrão é hidden-size. Relevante apenas se add_adapter is True.
• position_embeddings_type (str, opcional, padrão "relative") — Pode ser especificado como relative ou rotary para embeddings de posição relativos ou rotativos, respectivamente. Se deixado como None, nenhum embedding de posição relativo é aplicado.
• rotary_embedding_base (int, opcional, padrão 10000) — Se forem usados embeddings de posição "rotary", define o tamanho da base do embedding.
• max_source_positions (int, opcional, padrão 5000) — se forem usados embeddings de posição "relative", define as posições máximas de entrada da fonte.
• conv_depthwise_kernel_size (int, opcional, padrão 31) — Tamanho do kernel da camada convolucional depthwise 1D nos blocos Conformer.
• conformer_conv_dropout (float, opcional, padrão 0.1) — A probabilidade de dropout para todas as camadas convolucionais nos blocos Conformer.

Parâmetros

• loss (*optional*, returned when sample_negative_indices are passed, torch.Tensor of shape (1,)) — Perda total como a soma da perda contrastiva (L_m) e da perda de diversidade (L_d), conforme descrito no artigo oficial.
• projected_states (torch.Tensor de forma (batch_size, sequence_length, config.proj_codevector_dim)) — Estados ocultos do modelo projetados para config.proj_codevector_dim que podem ser usados para prever os estados quantizados projetados mascarados.
• projected_quantized_states (torch.Tensor de forma (batch_size, sequence_length, config.proj_codevector_dim)) — Vetores de recursos extraídos quantizados projetados em config.proj_codevector_dim, representando os vetores-alvo positivos para a perda contrastiva.
• codevector_perplexity (torch.Tensor de forma (1,)) — A perplexidade da distribuição de codevector, usada para medir a diversidade do codebook.
• hidden_states (tuple[torch.Tensor], opcional, retornado quando output_hidden_states=True é passado ou quando config.output_hidden_states=True) — Tupla de torch.Tensor (um para a saída dos embeddings, se o modelo tiver uma camada de embedding, + um para a saída de cada camada) de forma (batch_size, sequence_length, hidden_size).

  Estados ocultos do modelo na saída de cada camada, além das saídas opcionais do embedding inicial.

• attentions (tuple[torch.Tensor], opcional, retornado quando output_attentions=True é passado ou quando config.output_attentions=True) — Tupla de torch.Tensor (um para cada camada) com a forma (batch_size, num_heads, sequence_length, sequence_length).

  Pesos de atenção após o softmax de atenção, usados para calcular a média ponderada nos cabeçalhos de autoatenção.

• contrastive_loss (*optional*, returned when sample_negative_indices are passed, torch.Tensor of shape (1,)) — The contrastive loss (L_m) as stated in the official paper.
• diversity_loss (*optional*, returned when sample_negative_indices are passed, torch.Tensor of shape (1,)) — The diversity loss (L_d) as stated in the official paper.

Parâmetros

• config (Wav2Vec2ConformerConfig) — Classe de configuração do modelo com todos os parâmetros do modelo. A inicialização com um arquivo de configuração não carrega os pesos associados ao modelo, apenas a configuração. Consulte o método from_pretrained() para carregar os pesos do modelo.

Parâmetros

• config (Wav2Vec2ConformerConfig) — Classe de configuração do modelo com todos os parâmetros do modelo. A inicialização com um arquivo de configuração não carrega os pesos associados ao modelo, apenas a configuração. Consulte o método from_pretrained() para carregar os pesos do modelo.
• target_lang (str, opcional) — Idioma dos pesos do adaptador. Os pesos do adaptador são armazenados no formato adapter..safetensors ou adapter..bin. Relevante apenas ao usar uma instância de UniSpeechSatForCTC com adaptadores. Usa ‘eng’ por padrão.

Parâmetros

• config (Wav2Vec2ConformerConfig) — Classe de configuração do modelo com todos os parâmetros do modelo. A inicialização com um arquivo de configuração não carrega os pesos associados ao modelo, apenas a configuração. Consulte o método from_pretrained() para carregar os pesos do modelo.

Parâmetros

• config (Wav2Vec2ConformerConfig) — Classe de configuração do modelo com todos os parâmetros do modelo. A inicialização com um arquivo de configuração não carrega os pesos associados ao modelo, apenas a configuração. Consulte o método from_pretrained() para carregar os pesos do modelo.

Parâmetros

• config (Wav2Vec2ConformerConfig) — Classe de configuração do modelo com todos os parâmetros do modelo. A inicialização com um arquivo de configuração não carrega os pesos associados ao modelo, apenas a configuração. Consulte o método from_pretrained() para carregar os pesos do modelo.

Parâmetros

• config (Wav2Vec2ConformerConfig) — Classe de configuração do modelo com todos os parâmetros do modelo. A inicialização com um arquivo de configuração não carrega os pesos associados ao modelo, apenas a configuração. Consulte o método from_pretrained() para carregar os pesos do modelo.