Transformers

O Transformers atua como o framework de definição de modelos para modelos de aprendizado de máquina de última geração em texto, visão computacional, áudio, vídeo e modelos multimodais, tanto para inferência quanto para treinamento.

Ele centraliza a definição do modelo para que essa definição seja acordada em todo o ecossistema. transformers é o pivô entre os frameworks: se uma definição de modelo for suportada, ela será compatível com a maioria dos frameworks de treinamento (Axolotl, Unsloth, DeepSpeed, FSDP, PyTorch-Lightning, …), motores de inferência (vLLM, SGLang, TGI, …) e bibliotecas de modelagem adjacentes (llama.cpp, mlx, …) que utilizam a definição do modelo do transformers.

Nosso compromisso é ajudar a apoiar novos modelos de última geração e democratizar seu uso, garantindo que a definição de seus modelos seja simples, personalizável e eficiente.

Há mais de 1 milhão de model checkpoints de Transformers no Hugging Face Hub que você pode usar.

Explore o Hub hoje para encontrar um modelo e use o Transformers para começar imediatamente.

Explore a Models Timeline para descobrir as mais recentes arquiteturas de modelos de texto, visão, áudio e multimodais no Transformers.

Recursos

O Transformers oferece tudo o que você precisa para inferência ou treinamento com modelos pré-treinados de última geração. Algumas das principais funcionalidades incluem:

• Pipeline: classe de inferência simples e otimizada para diversas tarefas de aprendizado de máquina, como geração de texto, segmentação de imagem, reconhecimento automático de fala, resposta a perguntas em documentos e muito mais.
• Trainer: um treinador abrangente que suporta recursos como precisão mista, torch.compile e FlashAttention para treinamento e treinamento distribuído de modelos PyTorch.
• generate: Geração rápida de texto com grandes modelos de linguagem (LLMs) e modelos de linguagem e visão (VLMs), incluindo suporte para streaming e múltiplas estratégias de decodificação.

Design

Leia nossa Filosofia para saber mais sobre os princípios de design do Transformers.

Transformers foi projetado para desenvolvedores e engenheiros e pesquisadores de machine learning. Seus principais princípios de design são:

1. Rápido e fácil de usar: cada modelo é implementado a partir de apenas três classes principais (configuração, modelo e pré-processador) e pode ser usado rapidamente para inferência ou treinamento com Pipeline ou Trainer.
2. Modelos pré-treinados: Reduza sua pegada de carbono, o custo de computação e o tempo ao usar um modelo pré-treinado em vez de treinar um totalmente novo. Cada modelo pré-treinado é reproduzido o mais fielmente possível ao modelo original e oferece desempenho de estado da arte.

Aprender

Se você está começando no Transformers ou deseja aprender mais sobre modelos de transformer, recomendamos começar pelo curso de LLM. Este curso abrangente cobre tudo, desde os fundamentos de como os modelos de transformer funcionam até aplicações práticas em diversas tarefas. Você aprenderá o fluxo de trabalho completo, desde a curadoria de conjuntos de dados de alta qualidade até o ajuste fino de grandes modelos de linguagem e a implementação de capacidades de raciocínio. O curso contém exercícios teóricos e práticos para construir um conhecimento fundamental sólido sobre modelos de transformer à medida que você aprende.