Streszczenie AI
Unlimited‑OCR to otwarte rozwiązanie Baidua, które rewolucjonizuje OCR wielostronicowych dokumentów dzięki wizyjno‑językowym modelom VLM i mechanizmowi Sparse Reference Sliding‑Window Attention (SR‑SWA), redukującemu zapotrzebowanie na pamięć i skalowanie kwadratowe do stałej, \(\mathcal{O}(1)\). Dzięki temu jedno‑stanowa, end‑to‑end ekstrakcja tekstu, tabel i wzorów matematycznych jest możliwa nawet przy dokumentach liczących setki stron, bez over‑fiда i utraty spójności kontekstu. Projekt, oparty na 3‑billion‑parameternych modelach (w tym MoE), działa na zwykłych kartach GPU, jest w pełni kompatybilny z frameworkami takimi jak vLLM czy SGLang, a jego wysokie wyniki na benchmarkach MPDocBench i MarathonDocBench potwierdzają skuteczność i praktyczność architektury.
Spis treści:
Projekt Unlimited-OCR, udostępniony na licencji open source przez firmę Baidu, stanowi przełom w przetwarzaniu dokumentów wielostronicowych za pomocą wielomodalnych modeli wizyjno-językowych (VLM). Tradycyjne systemy OCR oparte na architekturze Transformer napotykają barierę kwadratowej złożoności obliczeniowej mechanizmu atencji oraz gwałtownego rozrostu pamięci KV cache przy analizie publikacji liczących dziesiątki lub setki stron. Niniejszy projekt rozwiązuje ten problem na poziomie architektonicznym, wprowadzając mechanizmy ograniczonego okna roboczego i rzadkiej atencji, co umożliwia bezstratną ekstrakcję tekstu, tabel oraz formuł matematycznych w pojedynczym przejściu wnioskowania (one-shot end-to-end).
Wąskie gardła klasycznego parsowania VLM
Dotychczasowe potoki przetwarzania dokumentów PDF i skanów opierały się na kaskadowych modelach detekcji układu (Layout Analysis), segmentacji bloków tekstu i dedykowanych silnikach rozpoznawania znaków (np. klasyczne potoki PaddleOCR). Wraz z rozwojem modeli generatywnych standardem stało się bezpośrednie parsowanie obrazu strony do ustrukturyzowanego formatu Markdown lub LaTeX. Zastosowanie standardowego mechanizmu self-attention dla sekwencji tokenów wizualnych generuje jednak fundamentalne ograniczenia sprzętowe:
- Złożoność obliczeniowa: Koszt obliczeniowy standardowej atencji skaluje się kwadratowo wraz z liczbą stron i tokenów sekwencji wejściowej:\mathcal{O}(N^2) gdzie N oznacza łączną długość sekwencji tokenów tekstowych i wizualnych.
- Degradacja spójności (Context Fragmentation): Dzielenie dokumentu na pojedyncze podstrony (ang. page-by-page chunking) gubi relacje między stronami, rozbija tabele ciągnące się przez wiele arkuszy oraz zniekształca logiczną kolejność czytania (reading order).
Innowacje architektoniczne: R-SWA oraz SR-SWA
Aby umożliwić analizę dokumentów o niemal nieograniczonej długości (unlimited-horizon parsing), zespół Baidu opracował mechanizmy dynamicznego zarządzania atencją. W pierwszej iteracji wprowadzono mechanizm Reference Sliding Window Attention (R-SWA), który w wersji Unlimited-OCR 2 rozwinięto do postaci Sparse Reference Sliding Window Attention (SR-SWA).
Kluczowa idea polega na oddzieleniu lokalnego kontekstu dekodowania od globalnej reprezentacji strukturalnej dokumentu. Zamiast utrzymywać pełną historię interakcji tekstowo-wizualnych w pamięci podręcznej, model kompresuje powiązania do stałego, zdefiniowanego bufora referencyjnego (np. 512 tokenów roboczych). W efekcie złożoność pojedynczego kroku dekodowania staje się stała:
\mathcal{O}(1)Dzięki temu opóźnienie generowania pojedynczego tokenu (per-step decoding latency) oraz narzut pamięciowy VRAM pozostają na stałym poziomie, niezależnie od tego, czy przetwarzany plik liczy 5, 50, czy ponad 100 stron. Model wyposażono w wydajny enkoder wizualny DeepEncoder oraz architekturę dekodera opartą na modelach o parametrach rzędu 3 miliardów (oraz wariantach MoE – Mixture of Experts), co pozwala na uruchomienie wnioskowania na pojedynczych konsumenckich lub serwerowych kartach graficznych.
Porównanie metod przetwarzania długich dokumentów
W poniższej tabeli zestawiono charakterystykę techniczną tradycyjnych metod potokowych, standardowych modeli VLM oraz podejścia zaimplementowanego w Baidu Unlimited-OCR.
Cecha architektoniczna | Klasyczny potok modułowy | Standardowy model VLM | Baidu Unlimited-OCR (SR-SWA) |
|---|---|---|---|
| Paradygmat | Detekcja układu + OCR + Heurystyka regułowa | End-to-End Autoregresyjny Transformer | One-shot End-to-End ze stałym buforem KV |
| Złożoność krokowa | Zmienna, zależna od modułów segmentacji | Kwadratowa do długości kontekstu | Ograniczona, stała wielkość okna roboczego |
| Zużycie pamięci KV Cache | Nie dotyczy (brak modelu generatywnego) | Skalowanie liniowe O(N) do limitu OOM | Niemal stałe (Bounded Memory Footprint) |
| Utrzymanie kontekstu tabel | Bardzo niskie (częste błędy łączenia stron) | Wysokie lokalnie, brak skalowalności >20 stron | Pełna ciągłość dla setek stron |
| Format wyjściowy | Nieustrukturyzowany tekst lub koordynaty JSON | Markdown, LaTeX, HTML | Ustrukturyzowany Markdown z formułami LaTeX |
Ewaluacja i wyniki na benchmarkach
Skuteczność architektury została zweryfikowana na zestawach danych dedykowanych analizie dokumentów wielostronicowych, takich jak MPDocBench (dokumenty kilkunastostronicowe) oraz MarathonDocBench (dokumenty ekstremalnie długie, liczące powyżej stu stron). Podczas gdy standardowe modele wizyjne wykazują gwałtowny spadek precyzji w miarę oddalania się od początku sekwencji (tzw. zjawisko lost in the middle / long-context degradation), mechanizm SR-SWA zachowuje wysoką dokładność ekstrakcji elementów strukturalnych. Model poprawnie identyfikuje hierarchię nagłówków, scalamy komórki w tabelach wielostronicowych oraz konwertuje skomplikowane równania matematyczne do notacji LaTeX.
Ograniczenie interakcji atencji do zwartego bufora referencyjnego eliminuje problem narastającego opóźnienia dekodowania, otwierając drogę do stabilnego parsowania ksiąg wieczystych, sprawozdań finansowych i monografii naukowych w środowiskach o ograniczonych zasobach GPU.
Praktyczna implementacja i integracja ekosystemowa
Kod źródłowy projektu został zintegrowany z wiodącymi frameworkami serwowania modeli LLM/VLM, w tym z silnikami vLLM oraz SGLang. Umożliwia to wdrażanie systemu w środowiskach produkcyjnych z wykorzystaniem technik ciągłego stronicowania pamięci (PagedAttention) oraz optymalizacji tensora.
Deweloperzy mogą uruchomić inferencję lokalnie za pośrednictwem biblioteki transformers lub postawić wysokowydajny serwer API za pomocą dedykowanych skryptów dostarczonych w repozytorium:
- Digitalizacja archiwów i bibliotek: Przetwarzanie całych tomów książek lub dokumentacji technicznej w jednym zapytaniu bez konieczności dzielenia plików na podkatalogi pojedynczych stron.
- Finanse i prawo: Precyzyjne parsowanie wielostronicowych prospektów emisyjnych, audytów oraz umów prawnych, gdzie zachowanie ciągłości tabel i przypisów warunkuje poprawność późniejszej analizy logicznej.
- Fine-tuning dziedzinowy: Wsparcie dla frameworka
ms-swiftumożliwia dotrenowanie wag modelu na specyficznych układach dokumentów (np. niestandardowych formularzach medycznych lub fakturach) przy relatywnie niskim zapotrzebowaniu na moc obliczeniową.
Zbuduj własne, prywatne AI
Ten wpis to część naszej bazy projektów open-source. Jeśli szukasz innych modeli, które możesz uruchomić całkowicie offline na własnym sprzęcie, zajrzyj do naszego stale rosnącego Katalogu Lokalnych Narzędzi AI.
baidu/Unlimited-OCR
by baiduUnlimited OCR Works: Welcome the Era of One-shot Long-horizon Parsing.
