Low-Rank Adaptation (LoRA) to efektywna technika dostrajania dużych modeli językowych, która polega na zamrożeniu wag oryginalnego modelu i dodaniu do jego warstw małych, trenowalnych macierzy o niskim rzędzie. Pozwala to na znaczne zmniejszenie liczby parametrów wymagających aktualizacji, co przyspiesza proces uczenia i drastycznie obniża wymagania sprzętowe przy zachowaniu wysokiej jakości wyników.
📖 Dowiedz się więcej w kontekście:
Reklama
