Buckets:

hf-doc-build
/

doc

Files

xet

hf-doc-build/doc / diffusers /main /tr /api /pipelines /value_guided_sampling.md

mishig

about 15 hours ago

preview code

download

raw

4.23 kB

# Değer yönlendirmeli planlama

> [!WARNING]
> 🧪 Bu, pekiştirmeli öğrenme için deneysel bir iş akışıdır!

Bu pipeline, Michael Janner, Yilun Du, Joshua B. Tenenbaum ve Sergey Levine tarafından yazılan [Planning with Diffusion for Flexible Behavior Synthesis](https://huggingface.co/papers/2205.09991) makalesine dayanmaktadır.

Makalenin özeti şudur:

*Model tabanlı pekiştirmeli öğrenme yöntemleri, genellikle öğrenmeyi yalnızca yaklaşık bir dinamik model tahmini amacıyla kullanır ve karar verme işinin geri kalanını klasik yörünge optimizatörlerine devreder. Kavramsal olarak basit olmasına rağmen, bu kombinasyonun bir dizi ampirik eksikliği vardır; bu da öğrenilen modellerin standart yörünge optimizasyonu için uygun olmayabileceğini düşündürmektedir. Bu makalede, yörünge optimizasyonu hattının olabildiğince büyük bir kısmını modelleme problemine katmanın nasıl görüneceğini ele alıyoruz; böylece modelden örneklem almak ve onunla plan yapmak neredeyse aynı hale geliyor. Teknik yaklaşımımızın çekirdeği, yörüngeleri iteratif olarak gürültüden arındırarak planlama yapan bir difüzyon olasılıksal modelinde yatmaktadır. Sınıflandırıcı yönlendirmeli örneklemeyi ve görüntü doldurmayı tutarlı planlama stratejileri olarak nasıl yeniden yorumlayabileceğimizi gösteriyor, difüzyon tabanlı planlama yöntemlerinin sıra dışı ve faydalı özelliklerini inceliyor ve uzun vadeli karar verme ile test zamanı esnekliğini vurgulayan kontrol ortamlarında çerçevemizin etkinliğini kanıtlıyoruz.*

Model hakkında ek bilgiyi [proje sayfasında](https://diffusion-planning.github.io/), [orijinal kod tabanında](https://github.com/jannerm/diffuser) bulabilir veya bir demo [defterinde](https://colab.research.google.com/drive/1rXm8CX4ZdN5qivjJ2lhwhkOmt_m0CvU0#scrollTo=6HXJvhyqcITc&uniqifier=1) deneyebilirsiniz.

Modeli çalıştırmak için betik [burada](https://github.com/huggingface/diffusers/tree/main/examples/reinforcement_learning) mevcuttur.

> [!TIP]
> Scheduler'lar [kılavuzunu](../../using-diffusers/schedulers) inceleyerek scheduler hızı ve kalitesi arasındaki ödünleşimi nasıl keşfedebileceğinizi öğrenin ve aynı bileşenleri birden fazla pipeline'a nasıl verimli bir şekilde yükleyebileceğinizi öğrenmek için [pipeline'lar arasında bileşenleri yeniden kullanma](../../using-diffusers/loading#reusing-models-in-multiple-pipelines) bölümüne göz atın.

## ValueGuidedRLPipeline[[diffusers.experimental.ValueGuidedRLPipeline]]

#### diffusers.experimental.ValueGuidedRLPipeline[[diffusers.experimental.ValueGuidedRLPipeline]]

```python
diffusers.experimental.ValueGuidedRLPipeline(value_function: UNet1DModel, unet: UNet1DModel, scheduler: DDPMScheduler, env)
```

[Kaynak](https://github.com/huggingface/diffusers/blob/main/src/diffusers/experimental/rl/value_guided_sampling.py#L25)

**Parametreler:**

value_function ([UNet1DModel](/docs/diffusers/main/tr/api/models/unet#diffusers.UNet1DModel)) : Ödül tabanlı olarak yörüngeleri ince ayarlamak için özel bir UNet.
unet ([UNet1DModel](/docs/diffusers/main/tr/api/models/unet#diffusers.UNet1DModel)) : Kodlanmış yörüngeleri gürültüden arındırmak için kullanılan UNet mimarisi.
scheduler ([SchedulerMixin](/docs/diffusers/main/tr/api/schedulers/overview#diffusers.SchedulerMixin)) : Kodlanmış yörüngeleri gürültüden arındırmak için `unet` ile birlikte kullanılacak bir zamanlayıcı. Bu uygulama için varsayılan [DDPMScheduler](/docs/diffusers/main/tr/api/schedulers/ddpm#diffusers.DDPMScheduler)'dir.
env () : İçinde hareket etmek için OpenAI gym API'sini takip eden bir ortam. Şu an için yalnızca Hopper için önceden eğitilmiş modeller mevcut.
Durum dizileri öngörmek üzere eğitilmiş bir difüzyon modelinden değer yönlendirmeli örneklemeler için pipeline.
Bu model [DiffusionPipeline](/docs/diffusers/main/tr/api/pipelines/overview#diffusers.DiffusionPipeline) sınıfından devralınmıştır. Tüm pipeline'lar için uygulanan genel yöntemlerin (indirme, kaydetme, belirli bir cihazda çalıştırma vb.) belgelerini üst sınıfın dokümantasyonunda bulabilirsiniz.

Xet Storage Details

Size:: 4.23 kB
Xet hash:: 6f91c746211fb36ecbd10dd044fe8353f1d18ddd69716f913d6dfc5fa5c74e74

Xet efficiently stores files, intelligently splitting them into unique chunks and accelerating uploads and downloads. More info.

	# Değer yönlendirmeli planlama

	> [!WARNING]
	> 🧪 Bu, pekiştirmeli öğrenme için deneysel bir iş akışıdır!

	Bu pipeline, Michael Janner, Yilun Du, Joshua B. Tenenbaum ve Sergey Levine tarafından yazılan [Planning with Diffusion for Flexible Behavior Synthesis](https://huggingface.co/papers/2205.09991) makalesine dayanmaktadır.

	Makalenin özeti şudur:

	Model tabanlı pekiştirmeli öğrenme yöntemleri, genellikle öğrenmeyi yalnızca yaklaşık bir dinamik model tahmini amacıyla kullanır ve karar verme işinin geri kalanını klasik yörünge optimizatörlerine devreder. Kavramsal olarak basit olmasına rağmen, bu kombinasyonun bir dizi ampirik eksikliği vardır; bu da öğrenilen modellerin standart yörünge optimizasyonu için uygun olmayabileceğini düşündürmektedir. Bu makalede, yörünge optimizasyonu hattının olabildiğince büyük bir kısmını modelleme problemine katmanın nasıl görüneceğini ele alıyoruz; böylece modelden örneklem almak ve onunla plan yapmak neredeyse aynı hale geliyor. Teknik yaklaşımımızın çekirdeği, yörüngeleri iteratif olarak gürültüden arındırarak planlama yapan bir difüzyon olasılıksal modelinde yatmaktadır. Sınıflandırıcı yönlendirmeli örneklemeyi ve görüntü doldurmayı tutarlı planlama stratejileri olarak nasıl yeniden yorumlayabileceğimizi gösteriyor, difüzyon tabanlı planlama yöntemlerinin sıra dışı ve faydalı özelliklerini inceliyor ve uzun vadeli karar verme ile test zamanı esnekliğini vurgulayan kontrol ortamlarında çerçevemizin etkinliğini kanıtlıyoruz.

	Model hakkında ek bilgiyi [proje sayfasında](https://diffusion-planning.github.io/), [orijinal kod tabanında](https://github.com/jannerm/diffuser) bulabilir veya bir demo [defterinde](https://colab.research.google.com/drive/1rXm8CX4ZdN5qivjJ2lhwhkOmt_m0CvU0#scrollTo=6HXJvhyqcITc&uniqifier=1) deneyebilirsiniz.

	Modeli çalıştırmak için betik [burada](https://github.com/huggingface/diffusers/tree/main/examples/reinforcement_learning) mevcuttur.

	> [!TIP]
	> Scheduler'lar [kılavuzunu](../../using-diffusers/schedulers) inceleyerek scheduler hızı ve kalitesi arasındaki ödünleşimi nasıl keşfedebileceğinizi öğrenin ve aynı bileşenleri birden fazla pipeline'a nasıl verimli bir şekilde yükleyebileceğinizi öğrenmek için [pipeline'lar arasında bileşenleri yeniden kullanma](../../using-diffusers/loading#reusing-models-in-multiple-pipelines) bölümüne göz atın.

	## ValueGuidedRLPipeline[[diffusers.experimental.ValueGuidedRLPipeline]]

	#### diffusers.experimental.ValueGuidedRLPipeline[[diffusers.experimental.ValueGuidedRLPipeline]]

	```python
	diffusers.experimental.ValueGuidedRLPipeline(value_function: UNet1DModel, unet: UNet1DModel, scheduler: DDPMScheduler, env)
	```

	[Kaynak](https://github.com/huggingface/diffusers/blob/main/src/diffusers/experimental/rl/value_guided_sampling.py#L25)

	Parametreler:

	value_function ([UNet1DModel](/docs/diffusers/main/tr/api/models/unet#diffusers.UNet1DModel)) : Ödül tabanlı olarak yörüngeleri ince ayarlamak için özel bir UNet.

	unet ([UNet1DModel](/docs/diffusers/main/tr/api/models/unet#diffusers.UNet1DModel)) : Kodlanmış yörüngeleri gürültüden arındırmak için kullanılan UNet mimarisi.

	scheduler ([SchedulerMixin](/docs/diffusers/main/tr/api/schedulers/overview#diffusers.SchedulerMixin)) : Kodlanmış yörüngeleri gürültüden arındırmak için `unet` ile birlikte kullanılacak bir zamanlayıcı. Bu uygulama için varsayılan [DDPMScheduler](/docs/diffusers/main/tr/api/schedulers/ddpm#diffusers.DDPMScheduler)'dir.

	env () : İçinde hareket etmek için OpenAI gym API'sini takip eden bir ortam. Şu an için yalnızca Hopper için önceden eğitilmiş modeller mevcut.

	Durum dizileri öngörmek üzere eğitilmiş bir difüzyon modelinden değer yönlendirmeli örneklemeler için pipeline.

	Bu model [DiffusionPipeline](/docs/diffusers/main/tr/api/pipelines/overview#diffusers.DiffusionPipeline) sınıfından devralınmıştır. Tüm pipeline'lar için uygulanan genel yöntemlerin (indirme, kaydetme, belirli bir cihazda çalıştırma vb.) belgelerini üst sınıfın dokümantasyonunda bulabilirsiniz.