Zero-Cost Write Strategy (offline verbatim indexing) to podejście architektoniczne stosowane w systemach zarządzania pamięcią długoterminową dla modeli LLM, takich jak MemPalace. Polega ono na przeniesieniu procesu indeksowania dosłownego (verbatim) do operacji realizowanych w trybie offline, co pozwala zminimalizować narzut obliczeniowy podczas aktywnej interakcji z modelem. Dzięki temu zapisywanie i porządkowanie nowych danych w pamięci wektorowej nie obciąża zasobów w czasie rzeczywistym, drastycznie redukując koszty wydajnościowe po stronie użytkownika. W efekcie system zachowuje wysoką szybkość odpowiedzi oraz płynność działania strumienia danych wejściowych bez rezygnacji z dokładności zapisu.
Zero-Cost Write Strategy (offline verbatim indexing) (Zero-Cost Write)
Źródło: arxiv.org



