ZeRO (Zero Redundancy Optimizer) to zaawansowana technika optymalizacji pamięci opracowana przez Microsoft, która umożliwia efektywne trenowanie modeli AI o ogromnej liczbie parametrów. Polega ona na dzieleniu (shardowaniu) stanów modelu, takich jak wagi, gradienty i stany optymalizatora, pomiędzy wszystkie dostępne procesory GPU w klastrze zamiast ich duplikowania. Dzięki temu system eliminuje nadmiarowość danych w pamięci VRAM, co pozwala na uruchamianie gigantycznych modeli na standardowym sprzęcie przy zachowaniu wysokiej wydajności obliczeniowej.
Źródło: pl.wikipedia.org
