Streszczenie AI
Recursive Superintelligence wypuściła model Flint – specjalistyczny językowy LLM o 39,8 mld parametrów, ale tylko ~2,5 mld aktywnych na token, co pozwala na złożone inferencje nawet na zwykłych stacjach roboczych. Dzięki hybrydowemu Mixture‑of‑Experts oraz liczeniowej jeździe z myślą o autonomicznych agentach programistycznych Flint osiąga imponujące wyniki na benchmarkach (np. 89,7 % pass@1 w SWE‑bench Pro v2), a jego 4‑bitowa kwantyzacja sprawia, że model jest zaledwie 26 GB, co ułatwia lokalne wdrożenia z wykorzystaniem dedykowanych akceleratorów. Wszystko to powstało na tle „rekurencyjnego samodoskonalenia” w systemie Eureka Machine, który przyspieszył rozwój i optymalizację pod kątem wydajności i prywatności.
Spis treści:
Firma Recursive Superintelligence opublikowała w modelu open source wagi projektu Recursive Flint, wyspecjalizowanego modelu językowego zoptymalizowanego pod kątem zadań programistycznych oraz pracy agentowej. Konstrukcja łączy łączny rozmiar 39,8 miliarda parametrów z bardzo wąskim profilem aktywacji wynoszącym około 2,5 miliarda parametrów na token, co pozwala na uruchamianie złożonych procedur wnioskowania bezpośrednio na stacjach roboczych i lokalnym sprzęcie obliczeniowym. Projekt ten wyróżnia się zarówno hybrydową topologią warstw uwagi, jak i metodologią badawczą opartą na rekurencyjnym samodoskonaleniu w ramach silnika Eureka Machine.
Architektura hybrydowa i mechanizmy mieszaniny ekspertów (MoE)
Trzonem modelu Flint jest asymetryczny podział parametrów, który minimalizuje narzut obliczeniowy fazy wnioskowania (ang. inference compute) przy jednoczesnym zachowaniu dużej pojemności reprezentacyjnej sieci. Z łącznej liczby niemal 40 miliardów parametrów tylko ułamek bierze udział w generacji pojedynczego tokena. Korpus sieci opiera się na 49 warstwach transformera: początkowe dwie warstwy mają charakter gęsty (ang. dense), natomiast kolejne 47 warstw wykonano w architekturze Mixture-of-Experts.
W każdej warstwie MoE znajduje się 256 wyspecjalizowanych ekspertów kierowanych (ang. routed experts). Mechanizm routingu dynamicznie przekazuje przetwarzany stan ukryty do 6 wybranych jednostek dla danego tokena. Dodatkowo każda warstwa zawiera jednego stałego eksperta współdzielonego (ang. shared expert), który jest aktywny nieprzerwanie i odpowiada za utrzymanie ogólnego, niezmiennego kontekstu semantycznego zadania. Taki podział zapobiega rozmywaniu reprezentacji bazowych pojęć w trakcie dynamicznego przełączania wyspecjalizowanych podsieci.
Istotną innowacją techniczną jest konstrukcja mechanizmu uwagi. Flint rezygnuje z jednolitego mechanizmu globalnego na rzecz układu hybrydowego: 35 warstw wykorzystuje lokalną uwagę z przesuwnym oknem (ang. sliding-window attention) o zasięgu 513 tokenów (token bieżący oraz 512 tokenów poprzedzających), podczas gdy 14 warstw realizuje pełną uwagę globalną (ang. full-attention). Co ciekawe, obrotowe kodowanie pozycji (RoPE) zaimplementowano wyłącznie w warstwach z oknem przesuwnym, natomiast w warstwach globalnych zrezygnowano ze standardowego kodowania pozycyjnego, wspierając stabilność przetwarzania znormalizowanymi iloczynami skalarnymi QK RMSNorm oraz wyuczonymi zlewami uwagi (ang. attention sinks).
Parametr architektury | Specyfikacja techniczna | Wpływ na wydajność i wnioskowanie |
|---|---|---|
| Łączna liczba wag | 39,8 mld (39.8B) | Duża pojemność wiedzy dziedzinowej o bazach kodu. |
| Aktywne wagi na token | ~2,5 mld (korpus modelu ok. 2,2 mld) | Niski koszt FLOP na krok generacji, zbliżony do modeli klasy 2B–3B. |
| Struktura warstw | 2 warstwy dense + 47 warstw MoE | Wstępna normalizacja cech przed dystrybucją do ekspertów. |
| Routing ekspertów | Top-6 z 256 + 1 współdzielony stały | Precyzyjna specjalizacja bez utraty stabilności kontekstu. |
| Konfiguracja uwagi | 35 warstw okna (513 tok.) + 14 pełnych | Liniowa skalowalność pamięci podręcznej KV dla większości warstw. |
| Rozmiar okna kontekstu | Do 262 144 tokenów (256k) | Możliwość analizy obszernych repozytoriów w jednym zapytaniu. |
Ewaluacja w środowiskach wykonawczych i benchmarkach agentowych
Flint został wytrenowany z myślą o autonomicznych agentach programistycznych, które nie tylko uzupełniają fragmenty kodu, ale również samodzielnie diagnozują problemy w repozytoriach, edytują pliki konfiguracyjne i wykonują polecenia w powłoce systemowej. Z tego względu testy syntetyczne zastąpiono benchmarkami symulującymi rzeczywistą pracę inżyniera oprogramowania.
W benchmarku SWE-bench Verified model osiągnął skuteczność pass@1 na poziomie 74,2%, natomiast w teście SWE-bench Pro v2 zanotował 89,7%. W zadaniach operowania na terminalu weryfikowanych środowiskiem Terminal-Bench 2.1 wynik wyniósł 54,9% (przy rygorystycznym kryterium uznającym wsparcie sieciowe za błąd). W procesie wnioskowania model generuje ustrukturyzowane bloki rozumowania oraz wywołania narzędzi (ang. tool calls) zgodne ze standardem interfejsów API formatu OpenAI, co ułatwia jego wdrożenie w popularnych frameworkach orkiestracji.
Model nie jest wyłącznie asystentem uzupełniania składni; architektura została zoptymalizowana do długich sekwencji myślowych i iteracyjnych pętli wywoływania narzędzi, gdzie budżet odpowiedzi często przekracza 32 tysiące tokenów dedykowanych na samą ścieżkę analityczną.
Optymalizacja obliczeniowa przynosi wymierne rezultaty sprzętowe. Przy wykorzystaniu kwantyzacji 4-bitowej (GGUF Q4_1) model mieści się w pliku o wadze 26 GB, co pozwala na bezproblemowe uruchomienie go w środowiskach lokalnych posiadających zunifikowaną pamięć RAM (np. układy Apple Silicon od 48 GB pamięci wzwyż) lub dedykowane akceleratory stacyjne. Przy zastosowaniu dedykowanych kerneli zoptymalizowanych pod architekturę NVIDIA RTX Spark i Blackwell, przepustowość generacji osiąga pułap 120–150 tokenów na sekundę, wyprzedzając tradycyjne modele gęste o porównywalnej skuteczności.
Geneza: Eureka Machine i rekurencyjne projektowanie sieci
W procesie powstawania modelu Flint istotną rolę odegrała metodologia badawcza. Zamiast tradycyjnego, ręcznego cyklu inżynierii hiperparametrów, zespół Recursive Superintelligence wdrożył zautomatyzowane środowisko Eureka Machine. Jest to platforma badawcza bazująca na koncepcji rekurencyjnego samodoskonalenia (RSI), która zamyka w pętli generowanie hipotez badawczych, implementację zmian w architekturze, prowadzenie eksperymentów treningowych oraz weryfikację wyników.
W efekcie działania tego systemu zautomatyzowano projektowanie niestandardowych kerneli obliczeniowych na poziomie sprzętowym, co przyniosło 55% wzrostu prędkości generacji tokenów na wyspecjalizowanych układach stacyjnych bez ingerencji w wartości wag sieci. System odpowiadał także za optymalizację proporcji warstw z oknem przesuwnym do warstw z uwagą pełną oraz za konfigurację rozproszonego routingu w MoE. Wagi modelu opublikowano na licencji Apache 2.0, co umożliwia ich audyt, lokalne wdrażanie oraz adaptację za pomocą metod PEFT/LoRA w narzędziach takich jak NeMo.
Praktyczne zastosowania w inżynierii oprogramowania
Dzięki połączeniu otwartej licencji i wydajnego wnioskowania lokalnego, model Flint rozwiązuje podstawowe problemy związane z prywatnością danych w projektach korporacyjnych. Do kluczowych scenariuszy wdrożeniowych należą:
- Autonomiczne usuwanie regresji w środowiskach CI/CD: Model może działać jako kontenerowy agent w lokalnej sieci firmy, pobierać raporty z nieudanych testów jednostkowych, lokalizować błąd w strukturze katalogów i przygotowywać gotowy pull request z poprawką.
- Refaktoryzacja w izolowanych środowiskach (Air-Gapped): Możliwość uruchomienia modelu o skuteczności zbliżonej do modeli chmurowych na pojedynczej stacji roboczej pozwala na audytowanie wrażliwego kodu bankowego lub infrastrukturalnego bez wysyłania telemetrii na zewnętrzne serwery.
- Inteligentne powłoki systemowe i automatyzacja DevOps: Dzięki wysokiej precyzji w interakcji z powłoką uniksową (Terminal-Bench), Flint nadaje się do weryfikacji skryptów wdrożeniowych, inspekcji logów kontenerów oraz automatycznej naprawy konfiguracji serwerowych.
- Wdrażanie mikromodeli w architekturze agentowej: Niski koszt aktywacji 2,5B pozwala na równoległe uruchamianie wielu instancji modelu w klastrze lokalnym za pośrednictwem silnika SGLang lub vLLM, gdzie każda instancja odpowiada za inny etap procesu (pisanie testów, generowanie implementacji, weryfikacja statyczna).
flint
Ollama LibraryFlint is a 39.8 billion-parameter mixture-of-experts model from Recursive, built for coding agents.
ollama run flint
