価値ベースの計画

🧪 これは強化学習用の実験的なパイプラインです！

このパイプラインは、Michael Janner、Yilun Du、Joshua B. Tenenbaum、Sergey Levine による Planning with Diffusion for Flexible Behavior Synthesis 論文に基づいています。

論文の抄録は以下の通りです：

モデルベース強化学習手法では、学習を近似ダイナミクスモデルの推定にのみ用い、残りの意思決定処理を従来の軌道最適化器に委ねるアプローチが一般的です。この組み合わせは概念的には単純ですが、いくつかの実験上の欠点があり、学習されたモデルが標準的な軌道最適化に必ずしも適していないことを示唆しています。本論文では、軌道最適化パイプラインを可能な限りモデリング問題に統合し、モデルからのサンプリングとそれを用いたプランニングがほぼ同一になるようなアプローチを検討します。当社の技術的アプローチの中核は、反復的なノイズ除去によって軌道を計画する拡散確率モデルにあります。クラスファインガイド付きサンプリングと画像インペインティングが、一貫性のあるプランニング戦略として再解釈できることを示し、拡散ベースのプランニング手法が持つ特異かつ有用な性質を考察するとともに、長期の意思決定とテスト時の柔軟性を重視する制御設定において、当社のフレームワークの有効性を実証します。

モデルに関する追加情報は、プロジェクトページ、元のコードベース、またはデモ用のノートブックで確認できます。

モデルを実行するスクリプトはこちらで入手できます。

スケジューラーのトレードオフ、すなわち速度と品質のバランスをどのように探求するかを学ぶには、ガイドを必ずご確認ください。また、同じコンポーネントを複数のパイプラインに効率的に読み込む方法については、パイプライン間でコンポーネントを再利用するセクションを参照してください。

ValueGuidedRLPipeline