Pre‑training (wstępne uczenie) (Pre-training)

Wstępne uczenie (pre-training) to pierwszy etap trenowania modelu sztucznej inteligencji, w którym zdobywa on ogólną wiedzę na podstawie ogromnych zbiorów danych. Podczas tego procesu sieć neuronowa uczy się rozpoznawać podstawowe wzorce, struktury językowe lub cechy wizualne bez skupiania się na jednym konkretnym zadaniu. Tak przygotowany model bazowy stanowi solidną podstawę do dalszego dostrajania (fine-tuning) do bardziej wyspecjalizowanych zastosowań. Pozwala to znacząco skrócić czas i zmniejszyć zasoby potrzebne do wyszkolenia modelu do konkretnego celu.