Transformers documentation
Optimum
Comece agora
Classes base
Modelos
Pré-processadores
Inferência
Pipeline API
API de geração
Otimização
Conversar com modelos
Serving
Treinamento
Hardware
Quantização
Visão geralConceitos de quantizaçãoEscolha um método OptimumContribuir com um método de quantização
Tarefas comuns
Quantizar durante o carregamento
Carregar checkpoints pré-quantizados
Integrações com o ecossistema
Recursos
API
You are viewing main version, which requires installation from source. If you'd like
regular pip install, checkout the latest stable version (v5.22.2).
Optimum
Optimum é uma biblioteca de otimização que suporta quantização para Intel, Furiosa, ONNX Runtime, GPTQ e funções de quantização de baixo nível do PyTorch. Ela foi projetada para aprimorar o desempenho em hardware específico — CPUs/HPUs da Intel, GPUs da AMD, NPUs da Furiosa, etc. — e aceleradores de modelos como o ONNX Runtime.
Update on GitHub