Data parallelism (równoległość danych) to technika obliczeniowa polegająca na dzieleniu dużego zbioru danych na mniejsze fragmenty, które są przetwarzane jednocześnie przez wiele procesorów lub rdzeni GPU wykonujących tę samą operację. W uczeniu maszynowym metoda ta umożliwia znaczne przyspieszenie trenowania modeli poprzez replikację sieci na różnych urządzeniach i jednoczesne obliczanie wag dla różnych podzbiorów danych treningowych. Dzięki synchronizacji wyników z poszczególnych jednostek, system uzyskuje spójny model końcowy w znacznie krótszym czasie.
📖 Dowiedz się więcej w kontekście:
Reklama
