Sparse Attention (rzadka uwaga) to technika zoptymalizowanej uwagi w modelach transformatorowych, która redukuje złożoność obliczeniową poprzez obliczanie zależności tylko dla wybranych par tokenów zamiast wszystkich możliwych kombinacji. Wariant Quadratic Sparse Attention pozwala znacznie ograniczyć zużycie pamięci oraz czas obliczeń przy przetwarzaniu długich sekwencji tekstowych. Dzięki temu modele mogą skutecznie analizować bardzo obszerne konteksty bez drastycznego wzrostu wymagań sprzętowych. Pozwala to na zachowanie wysokiej dokładności generowania przy jednoczesnej optymalizacji kosztów i wydajności.
Sparse Attention (Quadratic Sparse Attention) (QSA)
