Inter-Token Latency (ITL) to średni czas mierzony w milisekundach pomiędzy generowaniem kolejnych tokenów przez model językowy po otrzymaniu pierwszego z nich. Wskaźnik ten określa płynność strumieniowania odpowiedzi i bezpośrednio wpływa na komfort użytkownika podczas czytania tekstu generowanego w czasie rzeczywistym. Niski poziom ITL jest kluczowy dla interaktywnych aplikacji, takich jak chatboty, ponieważ zapewnia stałe tempo pojawiania się słów bez widocznych opóźnień.
Inter-Token Latency (ITL)
