Kontynuowane wstępne trenowanie (CPT) to proces dalszego trenowania wcześniej przeszkolonego modelu językowego na nowych, nieetykietowanych zbiorach danych. Metoda ta pozwala na dostosowanie ogólnego modelu do specyficznej dziedziny, branży lub nowego języka bez konieczności uczenia go od podstaw. Dzięki CPT model rozszerza swój zasób wiedzy i słownictwa, zachowując jednocześnie wcześniej nabyte zdolności ogólne. Stanowi to efektywny krok pośredni między bazowym pre-treningiem a ostatecznym dostrajaniem (fine-tuning) do konkretnych zadań.
Kontynuowane wstępne trenowanie (Continued Pretraining) (Continued Pretraining (CPT))
