Dekodowanie autoregresywne to metoda generowania sekwencji przez modele językowe, w której każdy kolejny token jest tworzony krok po kroku na podstawie wcześniej wygenerowanych elementów. W każdym iteracyjnym kroku model przewiduje najbardziej prawdopodobny następny symbol i dołącza go do dotychczasowego kontekstu wejściowego. Technika ta pozwala na zachowanie spójności logicznej oraz płynności gramatycznej w tworzonym tekście. Jest to podstawowy mechanizm wykorzystywany w nowoczesnych architekturach generatywnych do tworzenia złożonych wypowiedzi.
Źródło: github.com
