Gradient to wektor pochodnych cząstkowych funkcji względem wszystkich jej zmiennych, który wskazuje kierunek najszybszego wzrostu jej wartości. W uczeniu maszynowym pojęcie to jest kluczowe dla procesu optymalizacji, ponieważ pozwala wyznaczyć, jak zmienić parametry modelu, aby zminimalizować błąd. Obliczając gradient funkcji straty, algorytm wie, w którą stronę i jak mocno zmodyfikować wagi, aby przybliżyć się do optymalnego rozwiązania. Jest to fundament metody spadku gradientu, stosowanej do trenowania większości nowoczesnych modeli sztucznej inteligencji.
Źródło: pl.khanacademy.org
