Transformers documentation
Variáveis de ambiente
Variáveis de ambiente
Variáveis booleanas aceitam 1, on, yes ou true em qualquer capitalização. Qualquer outro valor, incluindo não definido, é falso.
A maioria dessas variáveis é lida uma única vez, quando o Transformers é importado. Defina-as no seu shell antes de iniciar o Python, ou com os.environ antes do import. Alterá-las posteriormente não tem efeito.
TRANSFORMERS_VERBOSITY=info python run.py
O cache e o acesso ao Hub são configurados pelas variáveis HF_* pertencentes ao huggingface_hub, como HF_HOME e HF_HUB_OFFLINE. Consulte Installation para o fluxo de trabalho offline.
Registro
O Transformers registra em warning. Logging documenta a API Python equivalente, incluindo logging.set_verbosity().
| Variável | Valores | Descrição |
|---|---|---|
TRANSFORMERS_VERBOSITY | detail, debug, info, warning, error, critical | Nível de log da biblioteca. detail corresponde a debug e adiciona o nome do arquivo e o número da linha a cada mensagem. Um valor não reconhecido emite um aviso e recorre a warning. |
TRANSFORMERS_NO_ADVISORY_WARNINGS | boolean | Silencia avisos consultivos, as dicas de boas práticas que não indicam um problema. |
Carregamento de modelos
Os shards de checkpoint são carregados em paralelo por padrão.
| Variável | Valores | Descrição |
|---|---|---|
HF_DEACTIVATE_ASYNC_LOAD | boolean | Carrega os shards na thread principal em vez de em uma thread pool. É mais lento, mas a memória de pico é mais fácil de prever. O carregamento já é sequencial quando um device_map faz offload para o disco ou quando a quantização é feita em tempo real, portanto, isso só afeta carregamentos que, de outra forma, seriam paralelos. |
DISABLE_SAFETENSORS_CONVERSION | boolean | Impede que o Transformers solicite ao bot de conversão do Hub uma versão em safetensors de um repositório que distribui apenas pesos PyTorch .bin. Vale a pena configurar em CI, onde a solicitação adiciona latência e instabilidade de rede. |
Kernels e backends
Os kernels otimizados são baixados do Hub quando o kernels está instalado e o hardware os suporta. Desative-os para isolar uma diferença numérica ou uma falha.
| Variável | Valores | Descrição |
|---|---|---|
USE_HUB_KERNELS | boolean, habilitado por padrão | Defina um valor falso para reverter para as implementações de referência. |
TRANSFORMERS_DISABLE_DEEPGEMM_LINEAR | 1 | Força o fallback do Triton em vez do DeepGEMM para camadas lineares em FP8 na quantização FP8 de grão fino. |
TRANSFORMERS_DISABLE_TORCH_CHECK | 1 | Pula a verificação da versão mínima do PyTorch na importação. |
TRANSFORMERS_SDPA_FORCE_GQA | 1 | Força o PyTorch SDPA a usar enable_gqa=True para grouped-query attention. Caso contrário, o Transformers seleciona entre definir enable_gqa=True e repetir as cabeças de chave/valor. |
Update on GitHub
TRANSFORMERS_DISABLE_TORCH_CHECKremove uma verificação de segurança, em vez de alterar o comportamento. Em uma versão não suportada do PyTorch, você receberá erros de importação ou resultados incorretos silenciosamente, em vez de uma mensagem clara.