RMSNorm (Root Mean Square Layer Normalization) to technika normalizacji stosowana w głębokich sieciach neuronowych, która skaluje aktywacje warstwy na podstawie ich średniej kwadratowej. W przeciwieństwie do standardowej metody LayerNorm, RMSNorm rezygnuje z centrowania danych, co pozwala na zmniejszenie kosztów obliczeniowych przy zachowaniu podobnej lub lepszej stabilności procesu trenowania. Jest to popularne rozwiązanie w nowoczesnych architekturach dużych modeli językowych, takich jak Llama czy Gemma.
Źródło: arxiv.org
