Batch Normalization to technika optymalizacji stosowana w głębokich sieciach neuronowych w celu przyspieszenia i ustabilizowania procesu uczenia. Polega ona na normalizacji aktywacji warstwy dla każdej mini-paczki danych, co zmniejsza przesunięcie współzmiennych wewnątrz sieci. Dzięki temu model może wykorzystywać wyższe współczynniki uczenia oraz staje się mniej wrażliwy na początkową inicjalizację wag. Dodatkowo działa jak delikatna forma regularyzacji, co często ogranicza potrzebę stosowania technik takich jak dropout.
Źródło: github.com
