Kompresja kontekstu to technika optymalizacji modeli językowych, która polega na tworzeniu skróconych reprezentacji lub streszczeń wcześniejszych fragmentów rozmowy zamiast przechowywania każdego słowa dosłownie. Pozwala to na efektywniejsze zarządzanie oknem kontekstowym, umożliwiając systemowi zachowanie kluczowych informacji i faktów przy jednoczesnym ograniczeniu liczby przetwarzanych tokenów.
📖 Dowiedz się więcej w kontekście:
Reklama
