Intel Gaudi

Intel Gaudi AIアクセラレーターファミリーには、Intel Gaudi 1、Intel Gaudi 2、Intel Gaudi 3が含まれます。各サーバーには、Habana Processing Unit (HPU) と呼ばれる8つのデバイスが搭載されており、Gaudi 3 では 128GB、Gaudi 2 では 96GB、初代 Gaudi では 32GB のメモリを提供します。基盤となるハードウェアアーキテクチャの詳細については、Gaudi Architecture の概要をご覧ください。

Diffusersのパイプラインは、GPU Migration Toolkitを使用することで、Optimum for Intel Gaudiにまだ追加されていないパイプラインであっても、HPUアクセラレーションを活用できます。

Flux の例のように、以下のようにパイプラインに対して .to("hpu") を呼び出して、HPU デバイスに移動します。

import torch
from diffusers import DiffusionPipeline

pipeline = DiffusionPipeline.from_pretrained("black-forest-labs/FLUX.1-schnell", dtype=torch.bfloat16)
pipeline.to("hpu")

image = pipeline("An image of a squirrel in Picasso style").images[0]

Gaudi 向けに最適化された拡散パイプラインの実装については、Optimum for Intel Gaudiの使用を推奨します。