DDPOによる強化学習トレーニング

🤗 TRL ライブラリと 🤗 Diffusers を使用して、報酬関数に対する強化学習により Stable Diffusion をファインチューニングできます。これは、Black らが Training Diffusion Models with Reinforcement Learning で提案した Denoising Diffusion Policy Optimization (DDPO) アルゴリズムを用いて行われ、🤗 TRL では DDPOTrainer として実装されています。

詳細については、DDPOTrainer の API リファレンスと、TRL を用いた DDPO による Stable Diffusion モデルのファインチューニング というブログ記事をご覧ください。