Diffusion Transformer (DiT) to architektura modeli generatywnych oparta na transformatorach, zaproponowana jako alternatywa dla tradycyjnych sieci U-Net w modelach dyfuzyjnych. Model wykorzystuje mechanizm uwagi transformatora do stopniowego usuwania szumu z danych, co umożliwia generowanie wysokiej jakości obrazów i materiałów wideo. DiT został zaprezentowany w pracy Scalable Diffusion Models with Transformers (Facebook Research, 2022) jako rozwiązanie skalowalne i efektywne pod względem obliczeniowym.
Źródło: github.com
