DeepSeek Sparse Attention (DSA) to innowacyjny mechanizm uwagi stosowany w modelach DeepSeek, który optymalizuje przetwarzanie długich tekstów poprzez skupienie się na najważniejszych fragmentach danych. Dzięki rzadkiej strukturze (sparsity) technologia ta znacząco redukuje koszty obliczeniowe i zapotrzebowanie na pamięć VRAM, umożliwiając szybsze i bardziej efektywne wnioskowanie przy zachowaniu wysokiej precyzji odpowiedzi.
Źródło: arxiv.org
