Token to podstawowa jednostka danych, taka jak słowo, fragment wyrazu lub znak interpunkcyjny, na które modele językowe dzielą tekst w celu jego analizy i przetwarzania. Proces ten, zwany tokenizacją, pozwala sztucznej inteligencji na matematyczne zrozumienie struktury języka oraz sprawne generowanie odpowiedzi poprzez przewidywanie kolejnych elementów sekwencji. Liczba tokenów bezpośrednio wpływa na koszty korzystania z systemów AI oraz limity tzw. okna kontekstowego, czyli ilości informacji, jaką model może przetworzyć jednocześnie.
📖 Dowiedz się więcej w kontekście:
Reklama
