Attention (mechanizm uwagi) to kluczowy element architektury transformerów, który pozwala modelowi skupić się na najważniejszych częściach danych wejściowych podczas generowania odpowiedzi. Mechanizm ten dynamicznie przypisuje różne wagi poszczególnym elementom sekwencji, co umożliwia skuteczne wyłapywanie relacji i kontekstu między słowami, nawet jeśli są one od siebie znacznie oddalone w tekście.
Źródło: en.wikipedia.org
