KV-cache (pamięć podręczna klucz-wartość) to technika optymalizacji stosowana w modelach autoregresyjnych, takich jak LLM, która polega na przechowywaniu wektorów kluczy i wartości dla przetworzonych już tokenów. Dzięki temu model nie musi ponownie przeliczać tych samych danych przy generowaniu każdego kolejnego słowa, co znacząco przyspiesza proces wnioskowania i redukuje koszty obliczeniowe. Przechowywanie tych informacji wymaga jednak dużej ilości pamięci VRAM, co staje się kluczowym wyzwaniem przy obsłudze długich kontekstów.
Reklama
