Full attention (globalne skupienie uwagi) to mechanizm w architekturze Transformera, który pozwala każdemu elementowi w sekwencji na bezpośrednią analizę relacji ze wszystkimi innymi elementami. W przeciwieństwie do metod lokalnych, model przetwarza pełny kontekst danych bez ograniczania pola widzenia tokenów. Zapewnia to wyższą precyzję w wyłapywaniu złożonych zależności, jednak wiąże się z kwadratową złożonością obliczeniową względem długości sekwencji. Z tego powodu stosowanie globalnej uwagi bywa ograniczeniem przy przetwarzaniu bardzo długich ciągów wejściowych.
Źródło: github.com
