Local and Global Attention to hybrydowy mechanizm atencji w modelach uczenia maszynowego, który łączy analizę kontekstu lokalnego z zależnością globalną. Atencja lokalna skupia się na ograniczonym oknie danych, co pozwala wychwycić precyzyjne, lokalne szczegóły przy zachowaniu niskiego kosztu obliczeniowego. Atencja globalna analizuje całą sekwencję wejściową, umożliwiając modelowi wychwycenie pełnego kontekstu i relacji długodystansowych. Połączenie obu tych podejść pozwala na optymalne zbalansowanie wydajności oraz dokładności w przetwarzaniu złożonych danych.
Local and Global Attention (attention pattern combining local windows and global tokens) (Local/Global Attention)
