ZeRO-Offload to technika optymalizacji pamięci w ramach biblioteki DeepSpeed, która pozwala na trenowanie ogromnych modeli AI poprzez przenoszenie części stanów modelu z pamięci GPU do pamięci RAM procesora (CPU). Dzięki wykorzystaniu zasobów obliczeniowych procesora do aktualizacji wag, metoda ta znacząco redukuje zapotrzebowanie na pamięć VRAM, umożliwiając szkolenie modeli z miliardami parametrów na pojedynczej karcie graficznej lub mniejszych klastrach.
📖 Dowiedz się więcej w kontekście:
Reklama
