Sparse Attention (rzadka atencja) to technika optymalizacji mechanizmu uwagi w modelach typu Transformer, która polega na obliczaniu interakcji tylko dla wybranych par tokenów zamiast wszystkich możliwych kombinacji. Dzięki zastąpieniu złożoności kwadratowej liniową lub podkwadratową, metoda ta pozwala na znaczne zmniejszenie zapotrzebowania na pamięć i moc obliczeniową, umożliwiając przetwarzanie znacznie dłuższych sekwencji tekstu.
📖 Dowiedz się więcej w kontekście:
Reklama
