Ewaluacja typu zero-shot to metoda oceniania zdolności modelu uczenia maszynowego bez wcześniejszego dostarczania mu przykładowych zadań lub dodatkowego trenowania na dedykowanym zbiorze danych. W tym podejściu model rozwiązuje zupełnie nowe zadanie wyłącznie na podstawie instrukcji zawartej w zapytaniu oraz wiedzy zdobytej podczas wstępnego uczenia. Pozwala to sprawdzić rzeczywiste umiejętności uogólniania i elastyczność algorytmu w nieznanych dotąd scenariuszach. Wyniki testów zero-shot stanowią ważny wskaźnik ogólnej inteligencji i wszechstronności nowoczesnych modeli językowych.
Źródło: github.com
