Sliding Window Attention to mechanizm uwagi stosowany w modelach językowych, który ogranicza pole widzenia każdego tokenu do określonego okna sąsiednich słów zamiast całego tekstu. Dzięki temu rozwiązaniu złożoność obliczeniowa rośnie liniowo, a nie kwadratowo, co pozwala na znacznie wydajniejsze przetwarzanie bardzo długich sekwencji danych. Technika ta umożliwia modelom budowanie globalnej reprezentacji tekstu poprzez kolejne warstwy sieci, mimo że każda z nich skupia się tylko na lokalnym kontekście.
Sliding Window Attention
