Stochastic Gradient Descent (SGD) to algorytm optymalizacji stosowany do trenowania modeli uczenia maszynowego, który aktualizuje parametry modelu na podstawie pojedynczego, losowo wybranego przykładu danych w każdej iteracji. W przeciwieństwie do tradycyjnego spadku gradientu, który analizuje cały zbiór danych przed każdym krokiem, SGD znacznie przyspiesza proces obliczeniowy i pozwala na pracę z ogromnymi zbiorami danych. Chociaż częste aktualizacje wprowadzają szum i powodują oscylacje funkcji kosztu, ta losowość może pomóc modelowi uniknąć lokalnych minimów i szybciej znaleźć globalne rozwiązanie. Metoda ta jest fundamentem uczenia głębokiego i jest powszechnie wykorzystywana w bibliotekach takich jak TensorFlow czy PyTorch.
Źródło: commint.pl
