Intel Gaudi

La familia de aceleradores de IA Intel Gaudi incluye Intel Gaudi 1, Intel Gaudi 2 y Intel Gaudi 3. Cada servidor está equipado con 8 dispositivos, conocidos como unidades de procesamiento Habana (HPU), que proporcionan 128 GB de memoria en Gaudi 3, 96 GB en Gaudi 2 y 32 GB en Gaudi de primera generación. Para más detalles sobre la arquitectura de hardware subyacente, consulte el resumen de Gaudi Architecture.

Los pipelines de Diffusers pueden aprovechar la aceleración de HPU, incluso si un pipeline aún no se ha agregado a Optimum for Intel Gaudi, mediante el GPU Migration Toolkit.

Llama a .to("hpu") en tu pipeline para moverlo a un dispositivo HPU, como se muestra a continuación para Flux:

import torch
from diffusers import DiffusionPipeline

pipeline = DiffusionPipeline.from_pretrained("black-forest-labs/FLUX.1-schnell", dtype=torch.bfloat16)
pipeline.to("hpu")

image = pipeline("An image of a squirrel in Picasso style").images[0]

Para las implementaciones de pipelines de difusión optimizados para Gaudi, recomendamos usar Optimum for Intel Gaudi.