AdamW to zaawansowany algorytm optymalizacji stosowany w uczeniu maszynowym, który stanowi ulepszoną wersję popularnego optymalizatora Adam. Jego kluczową cechą jest odseparowanie mechanizmu osłabiania wag (weight decay) od aktualizacji gradientu, co pozwala na skuteczniejszą regularyzację modelu. Dzięki temu rozwiązaniu proces trenowania sieci neuronowych staje się stabilniejszy, a modele osiągają lepszą zdolność generalizacji i rzadziej ulegają przeuczeniu.
Źródło: huggingface.co
