Attention with Linear Biases (ALiBi) to metoda kodowania pozycji stosowana w modelach opartych na architekturze Transformera. Zamiast dodawać wektory pozycyjne do reprezentacji słów na wejściu, ALiBi modyfikuje macierz uwagi poprzez nakładanie liniowej kary zależnej od odległości między tokenami. Dzięki temu rozwiązaniu model potrafi efektywnie przetwarzać sekwencje znacznie dłuższe niż te, na których był trenowany, wykazując zdolność do ekstrapolacji kontekstu. Metoda ta redukuje koszty obliczeniowe oraz poprawia stabilność uczenia i wydajność przetwarzania długich tekstów.
Źródło: arxiv.org
