Hugging Face's logo

Transformers documentation

Utilitários para pipelines

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v5.22.1).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Utilitários para pipelines

Esta página lista todas as funções utilitárias que a biblioteca fornece para pipelines.

A maioria delas só é útil se você estiver estudando o código dos modelos da biblioteca.

Tratamento de argumentos

classe transformers.pipelines.ArgumentHandler

< >

( )

Interface base para o tratamento de argumentos de cada Pipeline.

classe transformers.pipelines.ZeroShotClassificationArgumentHandler

< >

( )

Trata os argumentos para zero-shot em classificação de texto, transformando cada rótulo possível em um par premissa/hipótese de NLI.

Formato de dados

classe transformers.PipelineDataFormat

< >

( output_path: str | Noneinput_path: str | Nonecolumn: str | Noneoverwrite: bool = False )

Parâmetros

  • output_path (str) — Onde salvar os dados de saída.
  • input_path (str) — Onde procurar os dados de entrada.
  • column (str) — A coluna a ser lida.
  • overwrite (bool, opcional, padrão False) — Indica se deve sobrescrever o output_path.

Classe base para todos os formatos de dados suportados pelo pipeline, tanto para leitura quanto para gravação. Os formatos de dados atualmente suportados incluem:

  • JSON
  • CSV
  • stdin/stdout (tubo)

PipelineDataFormat também inclui alguns utilitários para trabalhar com múltiplas colunas, como o mapeamento de colunas de datasets para argumentos de palavra-chave dos pipelines por meio do formato dataset_kwarg_1=dataset_column_1.

from_str

< >

( format: stroutput_path: str | Noneinput_path: str | Nonecolumn: str | Noneoverwrite = False ) → PipelineDataFormat

Parâmetros

  • format (str) — O formato do pipeline desejado. Os valores aceitos são "json", "csv" ou "pipe".
  • output_path (str, opcional) — Local para salvar os dados de saída.
  • input_path (str, opcional) — Onde procurar os dados de entrada.
  • column (str, opcional) — A coluna a ser lida.
  • overwrite (bool, opcional, padrão False) — Indica se deve sobrescrever o output_path.

Retorna

PipelineDataFormat

O formato de dados adequado.

Cria uma instância da subclasse correta de PipelineDataFormat com base em format.

save

< >

( data: dict | list[dict] )

Parâmetros

  • data (dict ou lista de dict) — Os dados a serem armazenados.

Salve o objeto de dados fornecido com a representação para o PipelineDataFormat atual.

save_binary

< >

( data: dict | list[dict] ) → str

Parâmetros

  • data (dict ou lista de dict) — Os dados a serem armazenados.

Retorna

str

Caminho onde os dados foram salvos.

Salve o objeto de dados fornecido como dados binários no formato pickle no disco.

classe transformers.CsvPipelineDataFormat

< >

( output_path: str | Noneinput_path: str | Nonecolumn: str | Noneoverwrite = False )

Parâmetros

  • output_path (str) — Onde salvar os dados de saída.
  • input_path (str) — Onde procurar os dados de entrada.
  • column (str) — A coluna a ser lida.
  • overwrite (bool, opcional, padrão False) — Indica se deve sobrescrever o output_path.

Suporte a pipelines que utilizam o formato de dados CSV.

save

< >

( data: list[dict] )

Parâmetros

  • data (list[dict]) — Os dados a serem armazenados.

Salve o objeto de dados fornecido com a representação para o PipelineDataFormat atual.

classe transformers.JsonPipelineDataFormat

< >

( output_path: str | Noneinput_path: str | Nonecolumn: str | Noneoverwrite = False )

Parâmetros

  • output_path (str) — Onde salvar os dados de saída.
  • input_path (str) — Onde procurar os dados de entrada.
  • column (str) — A coluna a ser lida.
  • overwrite (bool, opcional, padrão False) — Indica se deve sobrescrever o output_path.

Suporte a pipelines que utilizam o formato de arquivo JSON.

save

< >

( data: dict )

Parâmetros

  • data (dict) — Os dados a serem armazenados.

Salve o objeto de dados fornecido em um arquivo json.

classe transformers.PipedPipelineDataFormat

< >

( output_path: str | Noneinput_path: str | Nonecolumn: str | Noneoverwrite: bool = False )

Parâmetros

  • output_path (str) — Onde salvar os dados de saída.
  • input_path (str) — Onde procurar os dados de entrada.
  • column (str) — A coluna a ser lida.
  • overwrite (bool, opcional, padrão False) — Indica se deve sobrescrever o output_path.

Leia dados da entrada de pipe para o processo python. Para dados com múltiplas colunas, as colunas devem ser separadas por

Se colunas forem fornecidas, a saída será um dicionário com {column_x: value_x}

save

< >

( data: dict )

Parâmetros

  • data (dict) — Os dados a serem armazenados.

Imprima os dados.

Utilitários

classe transformers.pipelines.PipelineException

< >

( task: strmodel: strreason: str )

Parâmetros

  • task (str) — A tarefa do pipeline.
  • model (str) — O modelo usado pelo pipeline.
  • reason (str) — A mensagem de erro a ser exibida.

Disparada por um Pipeline ao processar call.

Update on GitHub

←Utilitários para depuração de modelos Utilitários para tokenizadores→