inference latency

Opóźnienie wnioskowania (inference latency) to czas mierzony od momentu otrzymania danych wejściowych przez model sztucznej inteligencji do wygenerowania przez niego gotowej odpowiedzi lub przewidywania. Jest to kluczowy wskaźnik wydajności systemu, który bezpośrednio wpływa na doświadczenia użytkownika, szczególnie w aplikacjach działających w czasie rzeczywistym, takich jak autonomiczne pojazdy czy chatboty. Na jego wartość wpływa m.in. złożoność architektury modelu, moc obliczeniowa sprzętu oraz rozmiar przetwarzanych danych.