Uwaga krzyżowa (cross-attention) to mechanizm w architekturze Transformer, który umożliwia interakcję między dwiema różnymi sekwencjami danych, na przykład między koderem a dekoderem. W procesie tym zapytania (queries) pochodzą z jednej sekwencji, natomiast klucze (keys) i wartości (values) z drugiej, co pozwala modelowi na selektywne skupienie się na istotnych informacjach z zewnętrznego źródła. Jest to kluczowy element w zadaniach takich jak tłumaczenie maszynowe, streszczanie tekstów czy generowanie opisów obrazów, gdzie system musi powiązać generowane słowa z treścią wejściową. Dzięki temu mechanizmowi model może skutecznie integrować informacje z różnych źródeł lub modalności, zapewniając spójność i precyzję wyników.
Uwaga krzyżowa (cross-attention)
