Positional Encoding w wersji deterministycznej sinusoidalnej to technika stosowana w modelach typu Transformer do przekazywania informacji o kolejności tokenów w sekwencji. Ponieważ architektura Transformera przetwarza wszystkie elementy równolegle i sama z siebie nie posiada mechanizmu rozpoznawania pozycji, wektory kodowania pozycyjnego są dodawane bezpośrednio do reprezentacji wejściowych. Wykorzystanie funkcji sinus i kosinus o różnych częstotliwościach pozwala modelowi łatwo uczyć się relacji względnych między wyrazami. Dzięki stałemu wzorowi matematycznemu metoda ta nie wymaga trenowania dodatkowych parametrów i dobrze skaluje się do sekwencji o nieznanej wcześniej długości.
Źródło: arxiv.org
