LongMemEval Benchmark for Long-Term Memory (LongMemEval)

LongMemEval to zaawansowany zestaw testowy przeznaczony do systematycznej oceny pamięci długoterminowej oraz wnioskowania w szerokim kontekście dla modeli językowych, szczególnie w roli asystentów czatowych. Zamiast prostego wyszukiwania pojedynczych faktów, benchmark ten weryfikuje zdolności modeli w pięciu kluczowych obszarach, takich jak ekstrakcja informacji, wnioskowanie wielosesyjne, aktualizacja wiedzy oraz analizowanie aspektów czasowych. Testy opierają się na realistycznych, długich historiach konwersacji (od 115 tysięcy do ponad 1,5 miliona tokenów), co pozwala skutecznie odtworzyć warunki rzeczywistych interakcji z użytkownikiem. Dzięki temu narzędzie precyzyjnie diagnozuje spadki wydajności systemów AI w miarę wydłużania się dialogu oraz pomaga w projektowaniu lepszych architektur pamięci.