Intel Gaudi

A família de aceleradores de IA Intel Gaudi inclui Intel Gaudi 1, Intel Gaudi 2 e Intel Gaudi 3. Cada servidor é equipado com 8 dispositivos, conhecidos como Habana Processing Units (HPUs), fornecendo 128GB de memória no Gaudi 3, 96GB no Gaudi 2 e 32GB no Gaudi de primeira geração. Para mais detalhes sobre a arquitetura de hardware subjacente, confira a visão geral da Gaudi Architecture.

Os pipelines do Diffusers podem aproveitar a aceleração de HPU, mesmo que um pipeline ainda não tenha sido adicionado ao Optimum for Intel Gaudi, com o GPU Migration Toolkit.

Chame .to("hpu") no seu pipeline para movê-lo para um dispositivo HPU, conforme mostrado abaixo para o Flux:

import torch
from diffusers import DiffusionPipeline

pipeline = DiffusionPipeline.from_pretrained("black-forest-labs/FLUX.1-schnell", dtype=torch.bfloat16)
pipeline.to("hpu")

image = pipeline("An image of a squirrel in Picasso style").images[0]

Para implementações de pipelines de difusão otimizadas para Gaudi, recomendamos usar Optimum for Intel Gaudi.