Architektury generatywne w uczeniu głębokim: Od autoenkoderów i GAN po modele dyfuzyjne

Współczesne uczenie maszynowe przeszło transformację od modeli dyskryminacyjnych, skupionych na estymacji prawdopodobieństwa warunkowego p(y \mid x), do zaawansowanego modelowania generatywnego, którego celem jest przybliżenie właściwego rozkładu danych p(x). Trzy wiodące rodziny architektur — autoenkodery (w tym VAE), sieci generatywne przeciwstawne (GAN) oraz modele dyfuzyjne — realizują to zadanie na fundamentalnie odmienne sposoby matematyczne i strukturalne. Zrozumienie ich mechaniki, funkcji kosztu oraz dynamiki zbieżności stanowi fundament projektowania współczesnych systemów generatywnych.

Autoenkodery i VAE: Kompresja reprezentacji oraz modelowanie probabilistyczne

Klasyczny autoenkoder (AE) składa się z dwóch współpracujących komponentów: kodera f_\theta: \mathcal{X} \to \mathcal{Z} mapującego dane wejściowe do przestrzeni ukrytej oraz dekodera g_\phi: \mathcal{Z} \to \mathcal{X} rekonstruującego dane. Kluczowym elementem sieci jest wąskie gardło (ang. bottleneck), czyli warstwa ukryta o wymiarowości celowo niższej niż wymiar danych wejściowych (\dim(z) \ll \dim(x)), co definiuje architekturę jako undercomplete. Ograniczenie to uniemożliwia sieci naukę trywialnej funkcji tożsamościowej i zmusza koder do ekstrakcji najistotniejszych cech semantycznych.

Model optymalizowany jest za pomocą minimalizacji straty rekonstrukcji, mierzącej odległość między stanem wejściowym x a wyjściowym \hat{x} = g_\phi(f_\theta(x)). Dla ciągłych danych liczbowych stosuje się zazwyczaj błąd średniokwadratowy (MSE):

\mathcal{L}_{\text{rec}}(\theta, \phi) = \frac{1}{N} \sum_{i=1}^N \|x^{(i)} – g_\phi(f_\theta(x^{(i)}))\|^2

Mimo skutecznej kompresji, deterministyczny autoenkoder nie jest pełnoprawnym modelem generatywnym. Przestrzeń ukryta w klasycznym AE nie ma gwarancji ciągłości ani określonej topologii — interpolacja między dwoma wektorami latentnymi często prowadzi do niespójnych artefaktów w dekodowanym obrazie.

Rozwiązaniem tego problemu stał się wariacyjny autoenkoder (VAE), wprowadzający probabilistyczne podejście do reprezentacji danych. Zamiast mapować punkt x do pojedynczego wektora z, koder szacuje parametry rozkładu prawdopodobieństwa: wektor średnich \mu(x) oraz wektor wariancji \log \sigma^2(x). Przyjmuje się, że rozkład a priori nad wektorami ukrytymi to standardowy wielowymiarowy rozkład normalny p(z) = \mathcal{N}(0, I).

VAE maksymalizuje dolną granicę wiarygodności danych, znaną jako ELBO (ang. Evidence Lower Bound):

\log p_\theta(x) \ge \mathbb{E}_{q_\phi(z \mid x)} [\log p_\theta(x \mid z)] – D_{\text{KL}}(q_\phi(z \mid x) \parallel p(z))

Pierwszy człon odpowiada za jakość rekonstrukcji danych przez dekoder. Drugi człon, określony za pomocą dywergencji Kullbacka-Leiblera, pełni funkcję regularyzatora zmuszającego rozkład wariacyjny q_\phi(z \mid x) do zachowania bliskości względem rozkładu a priori p(z).

Bezpośrednie losowanie wektora z \sim q_\phi(z \mid x) uniemożliwiłoby wsteczną propagację błędu przez stochastyczny węzeł sieci. Z tego powodu stosuje się trik reparametryzacyjny (ang. reparameterization trick), izolujący losowość do zmiennej pomocniczej \epsilon \sim \mathcal{N}(0, I):

z = \mu(x) + \sigma(x) \odot \epsilon

Dzięki temu zabiegowi operacje mnożenia i dodawania są w pełni różniczkowalne, co pozwala na bezproblemowy gradientowy trening całej sieci przy użyciu standardowych algorytmów optymalizacyjnych.

Generative Adversarial Networks: Dynamika gry dwuosobowej i wyzwania optymalizacyjne

Opublikowane w 2014 roku sieci GAN zrezygnowały z jawnego modelowania gęstości prawdopodobieństwa na rzecz podejścia opartego na teorii gier. Architektura składa się z generatora G_\theta przekształcającego losowy szum z \sim p_z w próbki oraz dyskryminatora D_\phi, którego zadaniem jest klasyfikacja próbek na rzeczywiste (pochodzące z rozkładu p_{\text{data}}) lub syntetyczne.

Proces ten formalizuje dwuosobowa gra o sumie zerowej (gra minimaksowa) o funkcji wartości V(D, G):

\min_G \max_D V(D, G) = \mathbb{E}_{x \sim p_{\text{data}}(x)}[\log D(x)] + \mathbb{E}_{z \sim p_z(z)}[\log (1 – D(G(z)))]

W idealnych warunkach optymalny dyskryminator przyjmuje postać:

D^*(x) = \frac{p_{\text{data}}(x)}{p_{\text{data}}(x) + p_g(x)}

Po podstawieniu D^*(x) funkcja kosztu generatora redukuje się do minimalizacji dywergencji Jensena-Shannona (JSD) między rozkładem danych rzeczywistych a rozkładem generowanym.

Trening w pierwotnej formule minimaksowej wykazuje jednak poważne wady numeryczne. Na wczesnym etapie, gdy generator wytwarza próbki słabej jakości, dyskryminator bez trudu odrzuca fałszerstwa (D(G(z)) \approx 0). Wartość gradientu \nabla_\theta \log(1 – D(G(z))) ulega wówczas nasyceniu, co prowadzi do zaniku gradientu w generatorze. W praktyce zastępuje się ten cel heurystyką nienasycającą (ang. non-saturating heuristic), gdzie generator uczy się maksymalizować prawdopodobieństwo pomyłki dyskryminatora:

\mathcal{L}_G^{\text{NS}} = -\mathbb{E}_{z \sim p_z}[\log D(G(z))]

Pomimo modyfikacji matematycznych, proces uczenia GAN-ów pozostaje podatny na zaburzenia numeryczne, do których należą:

Modele dyfuzyjne: Od termodynamiki do generowania wielokrokowego

Modele dyfuzyjne (np. DDPM — Denoising Diffusion Probabilistic Models) opierają się na symulacji procesu dyfuzji w przód oraz nauce procesu odwróconego. Przełamują one ograniczenia GAN-ów poprzez stabilny, ściśle zdefiniowany cel optymalizacyjny oparty na maksymalizacji wiarygodności.

Proces w przód (ang. forward process) stanowi ustalony łańcuch Markowa, który w krokach t = 1, \dots, T stopniowo zanieczyszcza próbkę danych x_0 szumem gaussowskim zgodnie z harmonogramem wariancji \beta_1, \dots, \beta_T:

q(x_t \mid x_{t-1}) = \mathcal{N}(x_t; \sqrt{1 – \beta_t} x_{t-1}, \beta_t I)

Dzięki własnościom splotu rozkładów normalnych próbkę x_t w dowolnym kroku t można obliczyć analitycznie bezpośrednio z x_0, definiując \alpha_t = 1 – \beta_t oraz \bar{\alpha}_t = \prod_{s=1}^t \alpha_s:

q(x_t \mid x_0) = \mathcal{N}(x_t; \sqrt{\bar{\alpha}_t} x_0, (1 – \bar{\alpha}_t) I)

x_t = \sqrt{\bar{\alpha}_t} x_0 + \sqrt{1 – \bar{\alpha}_t} \epsilon, \quad \epsilon \sim \mathcal{N}(0, I)

Generowanie nowych próbek polega na odwróceniu tego procesu. Zaczynając od czystego szumu x_T \sim \mathcal{N}(0, I), sieć neuronowa (zazwyczaj oparta na architekturze U-Net lub Transformerze z mechanizmami atencji) estymuje parametry przejścia wstecznego p_\theta(x_{t-1} \mid x_t).

W praktycznym sformułowaniu Ho et al. sieć uczy się przewidywać szum \epsilon, który został dodany do próbki na danym etapie t, co prowadzi do uproszczonej funkcji straty:

\mathcal{L}_{\text{simple}}(\theta) = \mathbb{E}_{t, x_0, \epsilon} \left[ \|\epsilon – \epsilon_\theta(x_t, t)\|^2 \right]

Pojedynczy krok odszumiania (denoising step) w fazie próbkowania realizowany jest według wzoru:

x_{t-1} = \frac{1}{\sqrt{\alpha_t}} \left( x_t – \frac{\beta_t}{\sqrt{1 – \bar{\alpha}_t}} \epsilon_\theta(x_t, t) \right) + \sigma_t z, \quad z \sim \mathcal{N}(0, I)

Intuicyjną przewagą modeli dyfuzyjnych nad architekturami GAN jest dekompozycja skomplikowanego mapowania nieliniowego na setki małych, łatwych do optymalizacji kroków gaussowskich. Eliminuje to problem niestabilności przeciwstawnej i zjawisko zapadania trybów, gwarantując niemal pełne pokrycie rozkładu danych. Ceną za tę stabilność jest jednak wysoki narzut obliczeniowy podczas inferencji, wymagający wielokrotnego odpytywania sieci w sekwencyjnym procesie usuwania szumu.

Zestawienie paradygmatów generatywnych

Praktyczne zastosowania w inżynierii systemów uczenia maszynowego

Zróżnicowanie mechanizmów działania sprawia, że każda z architektur zajmuje specyficzny segment w zastosowaniach inżynieryjnych:

Modele generatywne tworzą continuum: VAE oferują teoretyczną elegancję, GAN-y bezkonkurencyjną szybkość inferencji, a modele dyfuzyjne stabilność procesu treningowego i fotorealistyczną jakość syntezy danych.

Źródła