Transformers documentation

Variáveis de ambiente

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v5.22.2).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Variáveis de ambiente

Variáveis booleanas aceitam 1, on, yes ou true em qualquer capitalização. Qualquer outro valor, incluindo não definido, é falso.

A maioria dessas variáveis é lida uma única vez, quando o Transformers é importado. Defina-as no seu shell antes de iniciar o Python, ou com os.environ antes do import. Alterá-las posteriormente não tem efeito.

TRANSFORMERS_VERBOSITY=info python run.py

O cache e o acesso ao Hub são configurados pelas variáveis HF_* pertencentes ao huggingface_hub, como HF_HOME e HF_HUB_OFFLINE. Consulte Installation para o fluxo de trabalho offline.

Registro

O Transformers registra em warning. Logging documenta a API Python equivalente, incluindo logging.set_verbosity().

VariávelValoresDescrição
TRANSFORMERS_VERBOSITYdetail, debug, info, warning, error, criticalNível de log da biblioteca. detail corresponde a debug e adiciona o nome do arquivo e o número da linha a cada mensagem. Um valor não reconhecido emite um aviso e recorre a warning.
TRANSFORMERS_NO_ADVISORY_WARNINGSbooleanSilencia avisos consultivos, as dicas de boas práticas que não indicam um problema.

Carregamento de modelos

Os shards de checkpoint são carregados em paralelo por padrão.

VariávelValoresDescrição
HF_DEACTIVATE_ASYNC_LOADbooleanCarrega os shards na thread principal em vez de em uma thread pool. É mais lento, mas a memória de pico é mais fácil de prever. O carregamento já é sequencial quando um device_map faz offload para o disco ou quando a quantização é feita em tempo real, portanto, isso só afeta carregamentos que, de outra forma, seriam paralelos.
DISABLE_SAFETENSORS_CONVERSIONbooleanImpede que o Transformers solicite ao bot de conversão do Hub uma versão em safetensors de um repositório que distribui apenas pesos PyTorch .bin. Vale a pena configurar em CI, onde a solicitação adiciona latência e instabilidade de rede.

Kernels e backends

Os kernels otimizados são baixados do Hub quando o kernels está instalado e o hardware os suporta. Desative-os para isolar uma diferença numérica ou uma falha.

VariávelValoresDescrição
USE_HUB_KERNELSboolean, habilitado por padrãoDefina um valor falso para reverter para as implementações de referência.
TRANSFORMERS_DISABLE_DEEPGEMM_LINEAR1Força o fallback do Triton em vez do DeepGEMM para camadas lineares em FP8 na quantização FP8 de grão fino.
TRANSFORMERS_DISABLE_TORCH_CHECK1Pula a verificação da versão mínima do PyTorch na importação.
TRANSFORMERS_SDPA_FORCE_GQA1Força o PyTorch SDPA a usar enable_gqa=True para grouped-query attention. Caso contrário, o Transformers seleciona entre definir enable_gqa=True e repetir as cabeças de chave/valor.

TRANSFORMERS_DISABLE_TORCH_CHECK remove uma verificação de segurança, em vez de alterar o comportamento. Em uma versão não suportada do PyTorch, você receberá erros de importação ou resultados incorretos silenciosamente, em vez de uma mensagem clara.

Update on GitHub