ZeRO-2 (Zero Redundancy Optimizer Stage 2) to zaawansowana technika optymalizacji pamięci opracowana przez Microsoft w ramach biblioteki DeepSpeed, która eliminuje redundancję danych podczas trenowania ogromnych modeli AI. Metoda ta polega na partycjonowaniu stanów optymalizatora oraz gradientów pomiędzy dostępne procesory GPU, co pozwala na znaczną redukcję zużycia pamięci VRAM i nawet dziesięciokrotne przyspieszenie procesu uczenia modeli o miliardach parametrów.
📖 Dowiedz się więcej w kontekście:
Reklama
