Architektura Mamba to innowacyjny model sekwencyjny oparty na przestrzeni stanów (State Space Model), stanowiący wydajną alternatywę dla klasycznych Transformerów. Dzięki zastosowaniu selektywnych mechanizmów SSM, model potrafi skutecznie filtrować nieistotne informacje i skupiać się na kluczowych danych w zależności od kontekstu. Charakteryzuje się liniową złożonością obliczeniową względem długości sekwencji, co pozwala na znacznie szybsze przetwarzanie bardzo długich tekstów. Rozwiązanie to drastycznie zmniejsza zużycie pamięci przy jednoczesnym zachowaniu wysokiej jakości generowanych odpowiedzi.
Źródło: arxiv.org
