Streszczenie AI
Uczenie przez wzmacnianie (RL) polega na tym, że agent podejmuje sekwencję decyzji w dynamicznym środowisku, maksymalizując oczekiwany (zdyskontowany) zwrot, przy czym realizowane są zarówno klasyczne algorytmy wartości (np. Q‑learning, DQN) jak i gradientowe polityki (REINFORCE, Actor‑Critic, PPO). W praktyce, zwłaszcza przy skalowalnych modelach językowych, kluczowym krokiem jest RLHF, w którym model ocenia generowane teksty według ludzkich preferencji, a następnie jest dopasowywany przez PPO z karą KL, aby zapobiec „hackingowi” nagrody i zachować naturalność wypowiedzi. Cały proces ilustruje, jak teoretyczne struktury MDP i Bellmana przechodzą w konkretyzacje techniczne, umożliwiając efektywną adaptację dużych modeli do złożonych, rzeczywistych zadań.
Spis treści:
Uczenie przez wzmacnianie (Reinforcement Learning, RL) to paradygmat uczenia maszynowego, w którym autonomiczny agent uczy się podejmowania sekwencji decyzji poprzez interakcję z dynamicznym środowiskiem. Zamiast statycznych etykiet znanych z uczenia nadzorowanego, agent otrzymuje skalarny sygnał sprzężenia zwrotnego w postaci nagrody, dążąc do maksymalizacji jej zdyskontowanej sumy w czasie. Zrozumienie mechanizmów RL – od klasycznych algorytmów wartości po metody gradientowe – stanowi fundament nowoczesnych technik dostrajania dużych modeli językowych (LLM).
Formalizacja problemu: Procesy Decyzyjne Markowa (MDP)
Matematycznym szkieletem każdego problemu RL jest Proces Decyzyjny Markowa (Markov Decision Process, MDP). Zdefiniowany jest on jako krotka \mathcal{M} = (\mathcal{S}, \mathcal{A}, \mathcal{P}, \mathcal{R}, \gamma), gdzie:
- \mathcal{S} (Przestrzeń stanów): Zbiór wszystkich dopuszczalnych stanów środowiska. Własność Markowa zakłada, że stan s_t w pełni koduje historię interakcji, czyli P(s_{t+1} \mid s_t, a_t, s_{t-1}, a_{t-1}, \dots) = P(s_{t+1} \mid s_t, a_t).
- \mathcal{A} (Przestrzeń akcji): Zbiór decyzji dostępnych dla agenta (dyskretny lub ciągły).
- \mathcal{P} (Funkcja przejścia): Prawdopodobieństwo warunkowe \mathcal{P}(s’ \mid s, a) = P(s_{t+1} = s’ \mid s_t = s, a_t = a), określające dynamikę środowiska.
- \mathcal{R} (Funkcja nagrody): Skalarna funkcja \mathcal{R}(s, a, s’) \in \mathbb{R}, która nagradza lub karze agenta za przejście między stanami.
- \gamma (Współczynnik dyskontowania): Parametr \gamma \in [0, 1), determinujący wagę przyszłych nagród względem natychmiastowych.
Celem agenta jest odnalezienie optymalnej polityki \pi(a \mid s), która maksymalizuje oczekiwany zwrot G_t = \sum_{k=0}^{\infty} \gamma^k R_{t+k+1}. W tym celu definiuje się dwie kluczowe funkcje wartości:
- Funkcja wartości stanu V^{\pi}(s): Oczekiwany zwrot z przebywania w stanie s przy realizacji polityki \pi:
V^{\pi}(s) = \mathbb{E}_{\pi} \left[ \sum_{k=0}^{\infty} \gamma^k R_{t+k+1} \middle| s_t = s \right] - Funkcja wartości akcji Q^{\pi}(s, a): Oczekiwany zwrot z podjęcia akcji a w stanie s, a następnie kontynuowania polityki \pi:
Q^{\pi}(s, a) = \mathbb{E}_{\pi} \left[ \sum_{k=0}^{\infty} \gamma^k R_{t+k+1} \middle| s_t = s, a_t = a \right]
Podstawą algorytmów opartych na wartości są równania Bellmana, rozbijające wartość stanu na nagrodę natychmiastową i zdyskontowaną wartość stanu następnego. Dla polityki optymalnej równanie Bellmana przyjmuje postać:
Q^*(s, a) = \mathcal{R}(s, a) + \gamma \sum_{s’ \in \mathcal{S}} \mathcal{P}(s’ \mid s, a) \max_{a’} Q^*(s’, a’)Metody oparte na wartości: Q-learning i Deep Q-Networks (DQN)
Klasyczny Q-learning jest bezmodelowym (model-free) algorytmem różnic czasowych (Temporal Difference, TD), działającym w trybie off-policy. Oznacza to, że uczy się optymalnej funkcji Q^* niezależnie od polityki eksploracyjnej generującej dane (np. polityki \epsilon-zachłannej). Reguła aktualizacji tablicy wartości przyjmuje postać:
Q(s_t, a_t) \leftarrow Q(s_t, a_t) + \alpha \left[ R_{t+1} + \gamma \max_{a} Q(s_{t+1}, a) – Q(s_t, a_t) \right]Gdzie wyrażenie \delta_t = R_{t+1} + \gamma \max_{a} Q(s_{t+1}, a) – Q(s_t, a_t) reprezentuje błąd różnicy czasowej (TD-error), a \alpha jest współczynnikiem uczenia.
W złożonych środowiskach o wysokowymiarowej przestrzeni obserwacji (np. surowe piksele z gier Atari) reprezentacja tablicowa jest niemożliwa ze względu na klątwę wymiarowości. Deep Q-Networks (DQN) zastępuje tabelę parametrycznym aproksymatorem funkcji – głęboką siecią neuronową o wagach \theta, czyli Q(s, a; \theta). Standardowe połączenie Q-learningu z nieliniowymi sieciami neuronowymi było niestabilne z powodu autokorelacji próbek oraz niestacjonarności celu. Architektura DQN rozwiązała ten problem za pomocą dwóch mechanizmów:
- Bufor powtórek doświadczeń (Experience Replay): Agent zapisuje krotki tranzycji e_t = (s_t, a_t, r_{t+1}, s_{t+1}, d_{t+1}) w buforze kołowym \mathcal{D}, gdzie d_{t+1} \in \{0, 1\} jest binarną flagą zakończenia epizodu. Trening sieci odbywa się na mini-paczce losowo próbkowanych tranzycji. Zabieg ten rozbija autokorelację szeregu czasowego i przywraca założenie o niezależnym i jednakowym rozkładzie próbek (i.i.d.).
- Sieć docelowa (Target Network): Cel optymalizacji jest obliczany przy użyciu zamrożonych wag \theta^-, które są aktualizowane okresowo (lub za pomocą wygładzania Polyaka):
Zapobiega to zjawisku „ruchomego celu”, w którym każda aktualizacja parametrów natychmiast destabilizuje wartość docelową.
Metody gradientu polityki i architektura Actor-Critic
Algorytmy oparte na wartości natrafiają na bariery w ciągłych przestrzeniach akcji, ponieważ obliczenie \max_{a} Q(s, a) wymaga rozwiązywania nietrywialnego problemu optymalizacji w każdym kroku. Metody gradientu polityki parametryzują bezpośrednio strategię postępowania agenta \pi_{\theta}(a \mid s) i optymalizują funkcję celu J(\theta) = \mathbb{E}_{\tau \sim \pi_{\theta}} [R(\tau)].
Zgodnie z twierdzeniem o gradiencie polityki (Policy Gradient Theorem), analityczna postać gradientu nie wymaga znajomości dynamiki środowiska \mathcal{P}:
\nabla_{\theta} J(\theta) = \mathbb{E}_{\pi_{\theta}} \left[ \nabla_{\theta} \log \pi_{\theta}(a_t \mid s_t) Q^{\pi_{\theta}}(s_t, a_t) \right]Podstawowy algorytm REINFORCE aproksymuje wartość Q za pomocą całkowitego zwrotu Monte Carlo G_t. Charakteryzuje się on nieobciążonym estymatorem, ale cechuje się bardzo wysoką wariancją. Aby ją zredukować, wprowadzono architekturę Actor-Critic:
- Aktor (Actor): Sieć neuronowa parametryzująca politykę \pi_{\theta}(a \mid s), odpowiedzialna za dobór akcji.
- Krytyk (Critic): Sieć neuronowa parametryzująca funkcję wartości V_{\phi}(s), oceniająca jakość wybranego stanu.
Gradient polityki wykorzystuje wtedy funkcję przewagi (Advantage Function):
A(s_t, a_t) = Q(s_t, a_t) – V(s_t) \approx R_{t+1} + \gamma V_{\phi}(s_{t+1}) – V_{\phi}(s_t)W praktycznych implementacjach (np. PPO) 1-krokowy błąd TD jest często zastępowany uogólnioną estymacją przewagi (Generalized Advantage Estimation, GAE), która poprzez parametr \lambda pozwala płynnie kontrolować kompromis między obciążeniem a wariancją estymatora gradientu.
Porównanie rodzin algorytmów RL
Cecha | Q-learning / DQN | Policy Gradient (np. REINFORCE) | Actor-Critic (np. PPO, SAC) |
|---|---|---|---|
| Typ polityki | Off-policy | On-policy | Zależnie od algorytmu (PPO: On-policy, SAC: Off-policy) |
| Przestrzeń akcji | Dyskretna (wymaga \max_a) | Dyskretna i ciągła | Dyskretna i ciągła |
| Wariancja estymatora | Niska (obciążona estymacja TD) | Wysoka (próbkowanie Monte Carlo) | Niska do umiarkowanej (regulowana przez krytyka / GAE) |
| Główny cel optymalizacji | Minimalizacja błędu Bellmana | Maksymalizacja oczekiwanego zwrotu | Optymalizacja polityki z regulacją przewagi |
| Efektywność próbkowa | Wysoka (bufor powtórek) | Niska (wymaga pełnych trajektorii) | Umiarkowana (PPO) do wysokiej (SAC) |
Wprowadzenie do RLHF w modelach językowych
Samo wstępne trenowanie modeli językowych (pretraining) oraz strojenie na instrukcjach (Supervised Fine-Tuning, SFT) nie gwarantują, że generowany tekst będzie pomocny, bezpieczny i zgodny z intencją użytkownika. Modele optymalizujące błąd przewidywania kolejnego tokena mają tendencję do halucynacji lub powielania niepożądanych wzorców. Rozwiązaniem tego problemu stało się uczenie przez wzmacnianie na podstawie informacji zwrotnej od ludzi (Reinforcement Learning from Human Feedback, RLHF).
RLHF mapuje proces generowania tekstu na problem MDP: stanem jest dotychczas wygenerowany prompt wraz z częściową odpowiedzią, akcją jest wybór kolejnego tokena ze słownika, a nagroda przyznawana jest po zakończeniu generacji na podstawie wyuczonego modelu preferencji ludzkich.
Standardowy proces RLHF składa się z trzech faz:
- Krok 1: Wytrenowanie modelu bazowego i SFT: Model bazowy podlega supervised fine-tuning na starannie dobranych parach prompt-odpowiedź, tworząc politykę początkową \pi^{\text{SFT}}.
- Krok 2: Budowa modelu nagrody (Reward Model, RM): Model generuje kilka odpowiedzi dla danego zapytania, które są oceniane i szeregowane przez weryfikatorów ludzkich. Następnie trenuje się model nagrody r_{\psi}(x, y), minimalizując stratę logistyczną w sformułowaniu Bradleya-Terry’ego:
gdzie y_w oznacza odpowiedź preferowaną (wygrywającą), a y_l odpowiedź odrzuconą (przegrywającą).
Współczynnik \beta kontroluje, jak bardzo zoptymalizowana polityka może oddalić się od pierwotnego rozkładu prawdopodobieństwa \pi^{\text{SFT}}.
Praktyczne zastosowania i wyzwania inżynieryjne
Teoretyczne ramy reinforcement learning przekładają się na szereg wdrożeń w systemach produkcyjnych:
- Sterowanie autonomiczne i robotyka: Algorytmy ciągłego Actor-Critic (np. SAC, PPO) umożliwiają kontrolę manipulatorów przemysłowych, chodu robotów kroczących oraz trajektorii pojazdów autonomicznych bez konieczności analitycznego wyprowadzania równań dynamiki bryły sztywnej.
- Wyrównywanie modeli generatywnych (LLM Alignment): RLHF i jego nowsze warianty są kluczowym etapem wdrażania modeli konwersacyjnych, eliminującym toksyczność i podnoszącym jakość rozumowania logicznego. Warto zauważyć, że faza PPO w RLHF wymaga jednoczesnego utrzymywania w pamięci VRAM aż czterech modeli (polityki, krytyka, modelu odniesienia SFT oraz modelu nagrody), co rodzi ogromne wyzwania infrastrukturalne i napędza popularność lżejszych metod optymalizacji preferencji, takich jak DPO (Direct Preference Optimization).
- Optymalizacja zasobów i systemów rekomendacyjnych: W dynamicznych sieciach elektroenergetycznych oraz systemach dystrybucji treści algorytmy RL optymalizują alokację zasobów i kolejkowanie zapytań w czasie rzeczywistym.
Głównymi barierami implementacyjnymi pozostają: wysoki narzut obliczeniowy fazy próbkowania (sample inefficiency), podatność funkcji wartości na przecenianie (overestimation bias) oraz trudność w formułowaniu funkcji nagrody, która nie prowadzi do niezamierzonych zachowań agenta.
