KV cache offloading

KV cache offloading to technika optymalizacji wnioskowania w modelach LLM, która polega na przenoszeniu danych z pamięci podręcznej kluczy i wartości (KV cache) z kosztownej pamięci GPU do tańszych nośników, takich jak pamięć RAM procesora lub dyski SSD. Proces ten pozwala na obsługę znacznie dłuższych kontekstów i większej liczby jednoczesnych użytkowników bez konieczności kosztownego przeliczania danych przy każdej turze rozmowy. Dzięki zwolnieniu zasobów karty graficznej, systemy AI mogą działać wydajniej na urządzeniach o ograniczonych zasobach sprzętowych.