BFL (fp8r / nvfp4)

Black Forest Labs propose des variantes quantifiées de ses transformers Flux3 selon deux schémas, stockées sous forme de points de contrôle monofichier à côté des poids bf16 d’origine :

• fp8r : FP8 par ligne. Chaque linéaire quantifié stocke un weight E4M3 et un weight_scale fp32 par ligne. Les activations sont quantifiées en E4M3 par ligne à l'exécution.
• nvfp4 : NVFP4 dans la disposition ModelOpt. Chaque linéaire quantifié stocke un weight E2M1 compacté (deux valeurs par octet), des échelles de bloc E4M3 de 16 (weight_scale), une échelle globale fp32 weight_scale_2 et une échelle d’activation fp32 calibrée input_scale.

Diffusers charge les deux via ~FromSingleFileMixin.from_single_file avec un BFLQuantizationConfig. Le schéma est lu depuis le checkpoint, de sorte que la même configuration fonctionne pour les deux fichiers. Seul le chargement de checkpoints pré-quantifiés est pris en charge ; le chargement au niveau du pipeline ne l'est pas.

L’exemple ci-dessous charge le point de contrôle fp8r de FLUX 3 Image Klein Base, qui se trouve à variants/fp8r/model.safetensors dans le dépôt du modèle. Passez config afin que la configuration du modèle soit lue depuis le dossier Diffusers de ce dépôt, puis chargez les autres composants par nom (voir Chargement de fichier unique).

import torch

from diffusers import BFLQuantizationConfig, Flux3Transformer2DModel, ModularPipeline

ckpt_path = "https://huggingface.co/black-forest-labs/flux-3-image-klein-base/blob/main/variants/fp8r/model.safetensors"
transformer = Flux3Transformer2DModel.from_single_file(
    ckpt_path,
    config="black-forest-labs/flux-3-image-klein-base",
    subfolder="transformer",
    quantization_config=BFLQuantizationConfig(compute_dtype=torch.bfloat16),
    dtype=torch.bfloat16,
)
pipe = ModularPipeline.from_pretrained("black-forest-labs/flux-3-image-klein-base")
pipe.load_components(dtype=torch.bfloat16)
pipe.update_components(transformer=transformer)
pipe.to("cuda")

prompt = "A wide-angle wildlife photograph of a red fox standing alert in a snow-covered forest clearing at golden hour."
image = pipe(prompt=prompt, generator=torch.Generator().manual_seed(0), output="images")[0]
image.save("flux3-klein-base-fp8r.png")

Remplacez variants/fp8r par variants/nvfp4 pour charger la variante nvfp4. Le modèle FLUX 3 Image Klein distillé par étapes est livré avec les deux mêmes variantes ; chargez-les en utilisant son identifiant de dépôt comme config et pipeline.

Kernels

Les poids quantifiés restent dans leur dtype de stockage basse précision. Le GEMM exécuté dépend de l'appareil :

Installez les deux paquets FlashInfer à la même version, par exemple pip install flashinfer-python==0.6.13 flashinfer-cubin==0.6.13. La version de flashinfer-cubin peut être en retard sur celle de flashinfer-python, et FlashInfer refuse d’être importé si les versions diffèrent.

FlashInfer compile ses noyaux NVFP4 lors de la première utilisation avec le kit CUDA de l’environnement et sélectionne l’architecture cible à partir du GPU visible (ou à partir de FLASHINFER_CUDA_ARCH_LIST si défini). Les GPU Blackwell grand public et de station de travail (capacité de calcul 12.0) nécessitent un kit CUDA de version 12.9 ou plus récente. Avec un kit plus ancien, FlashInfer ne trouve aucune architecture éligible et le premier appel NVFP4 échoue avec FlashInfer requires GPUs with sm75 or higher.

Sur tout autre appareil, les poids sont déquantifiés en compute_dtype à chaque passe avant et la couche s’exécute comme une couche linéaire standard. Dans ce cas, les activations ne sont pas quantifiées, de sorte que les sorties diffèrent légèrement de celles des noyaux fusionnés.