Scaled dot-product self-attention to kluczowy mechanizm uwagi stosowany w architekturze modeli Transformer. Polega on na obliczaniu iloczynu skalarnego między wektorami zapytań i kluczy, co pozwala modelowi określić stopień powiązania między różnymi elementami sekwencji. Uzyskane wyniki są skalowane przez pierwiastek z wymiaru kluczy, co zapobiega powstawaniu zbyt dużych wartości i stabilizuje proces uczenia. Dzięki temu rozwiązaniu sieć neuronowa może skutecznie przetwarzać zależności kontekstowe w długich ciągach danych.
Źródło: arxiv.org
