Transformers documentation
Comunidade
Comece agora
Classes base
Modelos
Pré-processadores
Inferência
Pipeline API
API de geração
Otimização
Conversar com modelos
Serving
Treinamento
Hardware
Quantização
Integrações com o ecossistema
Recursos
Receitas de tarefas
API
You are viewing main version, which requires installation from source. If you'd like
regular pip install, checkout the latest stable version (v5.22.1).
Comunidade
Esta página reúne recursos em torno do 🤗 Transformers desenvolvidos pela comunidade.
Recursos da comunidade
| Recurso | Descrição | Autor |
|---|---|---|
| Cartões de vocabulário do Hugging Face Transformers | Um conjunto de cartões de memória baseado no Glossário da Documentação do Transformers, organizado em um formato que pode ser facilmente aprendido/revisado usando o Anki, um aplicativo de código aberto e multiplataforma projetado especificamente para a retenção de conhecimento a longo prazo. Veja este vídeo introdutório sobre como usar os cartões de memória. | Darigov Research |
Notebooks da comunidade
| Notebook | Descrição | Autor | |
|---|---|---|---|
| Fine-tuning de um Transformer pré-treinado para gerar letras de música | Como gerar letras no estilo do seu artista favorito por meio do ajuste fino de um modelo GPT-2 | Aleksey Korshuk | |
| Treinar T5 em TPU | Como treinar o T5 no SQUAD com Transformers e Nlp | Suraj Patil | |
| Fine-tuning do T5 para Classificação e Escolha Múltipla | Como fazer o ajuste fino do T5 para tarefas de classificação e escolha múltipla usando um formato de texto-para-texto com PyTorch Lightning | Suraj Patil | |
| Fine-tune DialoGPT em novos conjuntos de dados e idiomas | Como fazer o ajuste fino do modelo DialoGPT em um novo conjunto de dados para chatbots conversacionais de diálogo aberto | Nathan Cooper | |
| Modelagem de Sequências Longas com Reformer | Como treinar em sequências de até 500.000 tokens com Reformer | Patrick von Platen | |
| Fine-tuning do BART para Sumarização | Como fazer o ajuste fino do BART para sumarização com fastai usando blurr | Wayde Gilliam | |
| Fine-tune um Transformer pré-treinado nos tweets de qualquer pessoa | Como gerar tweets no estilo da sua conta favorita do Twitter, ajustando um modelo GPT-2 | Boris Dayma | |
| Otimizar modelos do 🤗 Hugging Face com Weights & Biases | Um tutorial completo que apresenta a integração do W&B com o Hugging Face | Boris Dayma | |
| Pré-treinar Longformer | Como construir uma versão “longa” de modelos pré-treinados existentes | Iz Beltagy | |
| Fine-tune Longformer para QA | Como fazer o ajuste fino do modelo longformer para a tarefa de QA | Suraj Patil | |
| Avaliar modelo com 🤗nlp | Como avaliar o longformer no TriviaQA com nlp | Patrick von Platen | |
| Fine-tune T5 para extração de spans de sentimento | Como fazer o fine-tuning do T5 para extração de spans de sentimento usando o formato texto-para-texto com PyTorch Lightning | Lorenzo Ampil | |
| Fine-tuning do DistilBert para Classificação Multiclasse | Como fazer o fine-tuning do DistilBert para classificação multiclasse com PyTorch | Abhishek Kumar Mishra | |
| Fine-tuning do BERT para Classificação Multi-rótulo | Como fazer o ajuste fino do BERT para classificação multirrótulo usando PyTorch | Abhishek Kumar Mishra | |
| Fine-tuning do T5 para Sumarização | Como fazer o fine-tuning do T5 para sumarização no PyTorch e acompanhar experimentos com WandB | Abhishek Kumar Mishra | |
| Acelere o Fine-Tuning no Transformers com Preenchimento Dinâmico / Bucketing | Como acelerar o fine-tuning em um fator de 2 usando padding dinâmico / bucketing | Michael Benesty | |
| Pré-treinar o Reformer para Modelagem de Linguagem com Máscaras | Como treinar um modelo Reformer com camadas de autoatenção bidirecional | Patrick von Platen | |
| Expansão e ajuste fino do Sci-BERT | Como aumentar o vocabulário de um modelo SciBERT pré-treinado da AllenAI no conjunto de dados CORD e integrá-lo em um pipeline. | Tanmay Thakur | |
| Fine-tune BlenderBotSmall para Sumarização usando a API Trainer | Como fazer o ajuste fino do BlenderBotSmall para sumarização em um conjunto de dados personalizado, usando a API Trainer. | Tanmay Thakur | |
| Fine-tune Electra e interpretar com Integrated Gradients | Como fazer o fine-tuning do Electra para análise de sentimento e interpretar previsões com Captum Integrated Gradients | Eliza Szczechla | |
| ajustar finamente um modelo GPT-2 não em inglês com a classe Trainer | Como fazer o ajuste fino de um modelo GPT-2 não em inglês com a classe Trainer | Philipp Schmid | |
| Fine-tuning de um modelo DistilBERT para a tarefa de classificação multirótulo | Como fazer o ajuste fino de um modelo DistilBERT para a tarefa de classificação multirótulo | Dhaval Taunk | |
| Fine-tuning do ALBERT para classificação de pares de frases | Como ajustar finamente um modelo ALBERT ou outro modelo baseado em BERT para a tarefa de classificação de pares de sentenças | Nadir El Manouzi | |
| Fine-tune Roberta para análise de sentimento | Como fazer o fine-tuning de um modelo Roberta para análise de sentimento | Dhaval Taunk | |
| Avaliando modelos de geração de perguntas | Quão precisas são as respostas às perguntas geradas pelo seu modelo de transformer seq2seq? | Pascal Zoleko | |
| Use o BERT para sumarização encoder-decoder no CNN/Dailymail | Como fazer o warm-start de um EncoderDecoderModel com um checkpoint google-bert/bert-base-uncased para sumarização no CNN/Dailymail | Patrick von Platen | |
| Aproveite o RoBERTa para sumarização encoder-decoder no BBC XSum | Como iniciar o treinamento de um EncoderDecoderModel compartilhado a partir de um checkpoint FacebookAI/roberta-base para sumarização em BBC/XSum | Patrick von Platen | |
| Fine-tuning do TAPAS em Question Answering Sequencial (SQA) | Como fazer o ajuste fino de TapasForQuestionAnswering com um checkpoint tapas-base no conjunto de dados Sequential Question Answering (SQA) | Niels Rogge | |
| Avaliar o TAPAS em Verificação de Fatos em Tabelas (TabFact) | Como avaliar um TapasForSequenceClassification ajustado com um checkpoint tapas-base-finetuned-tabfact usando uma combinação das bibliotecas 🤗 datasets e 🤗 transformers | Niels Rogge | |
| Ajuste fino do mBART para tradução | Como fazer o ajuste fino do mBART usando o Seq2SeqTrainer para tradução do hindi para o inglês | Vasudev Gupta | |
| Fine-tune o LayoutLM no FUNSD (um conjunto de dados para compreensão de formulários) | Como fazer o ajuste fino de LayoutLMForTokenClassification no conjunto de dados FUNSD para extração de informações de documentos digitalizados | Niels Rogge | |
| Fine-tune DistilGPT2 e gere texto | Como fazer o ajuste fino do DistilGPT2 e gerar texto | Aakash Tripathi | |
| Fine-tune o LED em até 8K tokens | Como fazer o ajuste fino do LED no pubmed para sumarização de longo alcance | Patrick von Platen | |
| Avaliar LED no Arxiv | Como avaliar eficazmente o LED em resumos de longo alcance | Patrick von Platen | |
| Fine-tune o LayoutLM no RVL-CDIP (um conjunto de dados de classificação de imagens de documentos) | Como fazer o ajuste fino de LayoutLMForSequenceClassification no conjunto de dados RVL-CDIP para classificação de documentos digitalizados | Niels Rogge | |
| Decodificação CTC do Wav2Vec2 com ajuste GPT2 | Como decodificar uma sequência CTC com ajuste de modelo de linguagem | Eric Lam | |
| Fine-tune BART para sumarização em dois idiomas com a classe Trainer | Como fazer o ajuste fino do BART para sumarização em dois idiomas com a classe Trainer | Eliza Szczechla | |
| Avaliar o Big Bird no Trivia QA | Como avaliar o BigBird em perguntas e respostas sobre documentos longos no Trivia QA | Patrick von Platen | |
| Criar legendas de vídeo usando Wav2Vec2 | Como criar legendas para o YouTube a partir de qualquer vídeo transcrevendo o áudio com Wav2Vec | Niklas Muennighoff | |
| Fine-tune o Vision Transformer no CIFAR-10 usando PyTorch Lightning | Como fazer o ajuste fino do Vision Transformer (ViT) no CIFAR-10 usando HuggingFace Transformers, Datasets e PyTorch Lightning | Niels Rogge | |
| Fine-tune o Vision Transformer no CIFAR-10 usando o 🤗 Trainer | Como fazer o ajuste fino do Vision Transformer (ViT) no CIFAR-10 usando HuggingFace Transformers, Datasets e o 🤗 Trainer | Niels Rogge | |
| Avaliar o LUKE no Open Entity, um conjunto de dados de tipagem de entidades | Como avaliar o LukeForEntityClassification no conjunto de dados Open Entity | Ikuya Yamada | |
| Avaliar o LUKE no TACRED, um conjunto de dados de extração de relações | Como avaliar o LukeForEntityPairClassification no conjunto de dados TACRED | Ikuya Yamada | |
| Avalie o LUKE no CoNLL-2003, um benchmark importante de NER | Como avaliar LukeForEntitySpanClassification no conjunto de dados CoNLL-2003 | Ikuya Yamada | |
| Avaliar o BigBird-Pegasus no conjunto de dados PubMed | Como avaliar BigBirdPegasusForConditionalGeneration no conjunto de dados PubMed | Vasudev Gupta | |
| Classificação de Emoção em Fala com Wav2Vec2 | Como aproveitar um modelo Wav2Vec2 pré-treinado para Classificação de Emoções no conjunto de dados MEGA | Mehrdad Farahani | |
| Detectar objetos em uma imagem com DETR | Como usar um modelo DetrForObjectDetection treinado para detectar objetos em uma imagem e visualizar a atenção | Niels Rogge | |
| Fine-tuning do DETR em um conjunto de dados personalizado de detecção de objetos | Como fazer o ajuste fino de DetrForObjectDetection em um conjunto de dados personalizado de detecção de objetos | Niels Rogge | |
| Ajuste fino do T5 para Reconhecimento de Entidades Nomeadas | Como fazer o ajuste fino de T5 em uma tarefa de Reconhecimento de Entidades Nomeadas | Ogundepo Odunayo | |
| Fine-tuning de LLMs de código aberto usando QLoRA com MLflow e PEFT | Como usar QLoRA e PEFT para fazer o ajuste fino de um LLM de forma eficiente em memória, enquanto usa MLflow para gerenciar o rastreamento de experimentos | Yuki Watanabe |