Transformers documentation

環境変数

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v5.22.1).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

環境変数

Boolean 変数は、大文字小文字を問わず 1、on、yes、または true を受け入れます。それ以外(未設定を含む)は false と扱われます。

これらの変数のほとんどは、Transformers がインポートされる際に一度だけ読み取られます。Python を起動する前にシェルで設定するか、インポートの前に os.environ を使用して設定してください。その後に値を変更しても、効果はありません。

TRANSFORMERS_VERBOSITY=info python run.py

キャッシュと Hub へのアクセスは、huggingface_hub が管理する HF_* 変数(HF_HOME や HF_HUB_OFFLINE など)によって設定されます。オフラインワークフローについては、インストール を参照してください。

ログ出力

Transformers は warning レベルでログを出力します。Logging では、logging.set_verbosity() を含む、同等の Python API について説明しています。

変数値説明
TRANSFORMERS_VERBOSITYdetail, debug, info, warning, error, criticalライブラリのログレベル。detail は debug と同じ内容に、各メッセージへファイル名と行番号を追加します。認識されない値が指定された場合は警告が表示され、warning にフォールバックします。
TRANSFORMERS_NO_ADVISORY_WARNINGSboolean問題を示さないベストプラクティスのヒントであるアドバイザリー警告を無効にします。

モデルの読み込み

チェックポイントのシャードは、デフォルトで並列に読み込まれます。

変数値説明
HF_DEACTIVATE_ASYNC_LOADbooleandevice_mapがディスクにオフロードする場合や、オンザフライで量子化する場合を除き、シャードの読み込みはすでにシーケンシャルです。そのため、このオプションが影響するのは、それ以外で並列読み込みが行われる場合のみです。
DISABLE_SAFETENSORS_CONVERSIONbooleanPyTorchの.binウェイトのみを同梱しているリポジトリに対して、TransformersがHubの変換ボットにsafetensorsバージョンの取得を要求することを防止します。CIで設定することをお勧めします。CIでは、この要求がレイテンシやネットワークの不安定性を引き起こすためです。

カーネルとバックエンド

kernels がインストールされ、ハードウェアが対応している場合、最適化されたカーネルは Hub からダウンロードされます。数値上の差異やクラッシュを切り分けるために、これらを無効にしてください。

変数値説明
USE_HUB_KERNELSboolean型、デフォルトで有効false の値に設定すると、参照実装にフォールバックします。
TRANSFORMERS_DISABLE_DEEPGEMM_LINEAR1finegrained FP8 量子化における FP8 線形層で、DeepGEMM の代わりに Triton フォールバックを強制します。
TRANSFORMERS_DISABLE_TORCH_CHECK1インポート時のPyTorchの最低バージョンチェックをスキップします。
TRANSFORMERS_SDPA_FORCE_GQA1PyTorch SDPA がグループクエリアテンションに対して enable_gqa=True を使用するように強制します。それ以外の場合、Transformers は enable_gqa=True を設定するか、キー/バリューヘッドを繰り返すかのいずれかを選択します。

TRANSFORMERS_DISABLE_TORCH_CHECK は、動作を変更するのではなく、ガードを削除するものです。サポートされていない PyTorch バージョンでは、明確なメッセージの代わりに、インポートエラーや、静かに間違った結果が返される可能性があります。

Update on GitHub