UVit2DModel

U-ViT modeli, vision transformer (ViT) tabanlı bir UNet'tir. Bu model, ViT'den (zaman, koşullar ve gürültülü görüntü yamaları gibi tüm girdileri token olarak ele alır) ve UNet'ten (shallow ve deep katmanlar arasında uzun skip bağlantıları) unsurları bir araya getirir. Skip bağlantısı, piksel düzeyinde özellikleri tahmin etmek için önemlidir. Görüntü kalitesini iyileştirmek için nihai çıktıdan önce ek bir 3x3 convolutional bloğu uygulanır.

Makalenin özeti şudur:

Şu anda, yüksek çözünürlüklü görüntülerin piksel alanında difüzyon modellerini uygulamak zordur. Bunun yerine, mevcut yaklaşımlar difüzyonu daha düşük boyutlu alanlarda (latent difüzyon) gerçekleştirmeye veya kaskat olarak adlandırılan birden fazla süper çözünürlük seviyesinde üretime odaklanır. Bu yaklaşımların dezavantajı, difüzyon çerçevesine ek karmaşıklık katmalarıdır. Bu makale, modeli olabildiğince basit tutarken yüksek çözünürlüklü görüntüler için gürültü giderme difüzyonunu iyileştirmeyi amaçlamaktadır. Makale, şu araştırma sorusu etrafında şekillenmektedir: Yüksek çözünürlüklü görüntüler üzerinde standart bir gürültü giderme difüzyon modeli nasıl eğitilebilir ve yine de bu alternatif yaklaşımlarla karşılaştırılabilir performans elde edilebilir? Dört ana bulgu şunlardır: 1) gürültü zamanlaması yüksek çözünürlüklü görüntüler için ayarlanmalıdır, 2) mimarinin yalnızca belirli bir bölümünü ölçeklendirmek yeterlidir, 3) dropout mimarinin belirli konumlarına eklenmelidir ve 4) örnekleme azaltma, yüksek çözünürlüklü özellik haritalarından kaçınmak için etkili bir stratejidir. Bu basit ama etkili teknikleri birleştirerek, ImageNet üzerinde örneklem değiştiricileri kullanmadan difüzyon modelleri arasında görüntü üretiminde en iyi performansa ulaşıyoruz.

UVit2DModel

UVit2DConvEmbed

UVitBlock

ConvNextBlock

ConvMlmLayer