Streszczenie AI
Instytut Modeli Podstawowych w MBZUAI odsłonił rodzinę K2 Horizon, – sześć jednolitych modeli od 0.9 do 375 mln parametrów – udostępnionych na pełnej licencji Apache 2.0 wraz z wagami, danymi treningowymi, kodem i checkpoints, co czyni projekt rzadkim przykładem przejścia od „open‑weights” do prawdziwego „open‑science”. Dzięki wspólnej architekturze i wspomnianym innowacjom (MoVA, Uno, agent pre‑training), model umożliwia dokładne badanie skali i transferu wiedzy oraz spełnia wymagania produkcyjne, obsługując formaty FP8 i GGUF. K2 Horizon jest więc kluczowym krokiem w demistyfikacji dużych modeli językowych, dając inżynierom i badaczom w pełni zweryfikowaną, otwartą bazę do dalszych rozwoju.
Spis treści:
Instytut Modeli Podstawowych (Institute of Foundation Models, IFM) prowadzony przez Mohamed bin Zayed University of Artificial Intelligence (MBZUAI) zaprezentował rodzinę modeli K2 Horizon. Jest to spójna flota sześciu modeli sztucznej inteligencji o skali od 0,9 do 375 miliardów parametrów, udostępniona na w pełni otwartej licencji Apache 2.0 wraz z kompletnymi wagami, danymi treningowymi, kodem oraz punktami kontrolnymi (checkpoints). Projekt ten stanowi rzadki przypadek przejścia z modelu „open-weights” do autentycznego „open-science”, odsłaniając pełną ścieżkę pre-trainingu i post-trainingu agentowego.
Architektura i specyfikacja rodziny modeli
Głównym założeniem twórców było stworzenie jednolitej technologicznie floty, w której modele dzielą zbliżoną architekturę, wspólny stos ewaluacyjny i narzędzia wdrożeniowe, zamiast publikowania odizolowanych punktów kontrolnych. Cztery warianty (3.7B, 7B, 32B oraz 36B-A4B) trenowane były na dokładnie tym samym korpusie 22 bilionów tokenów, co pozwoliło na rygorystyczne zbadanie dynamiki skalowania i transferu wiedzy między gęstymi a rzadkimi architekturami.
W poniższej tabeli zestawiono parametry techniczne oraz przeznaczenie każdego z sześciu modeli rodziny K2 Horizon:
Model | Architektura | Parametry łączne | Parametry aktywne | Główne środowisko docelowe |
|---|---|---|---|---|
| K2 Horizon 0.9B | Dense | 0,9 mld | 0,9 mld | Urządzenia ubieralne (smartwatche, inteligentne okulary AR) |
| K2 Horizon 3.7B | Dense | 3,7 mld | 3,7 mld | Smartfony, mikroserwisy lokalne, szybki fine-tuning |
| K2 Horizon 7B | Dense | 7 mld | 7 mld | Lokalni asystenci programistyczni, urządzenia konsumenckie |
| K2 Horizon 32B | Dense | 32 mld | 32 mld | Stacje robocze, serwery on-premise, agentowe środowiska lokalne |
| K2 Horizon 36B-A4B | Sparse MoVA + MoE | 36 mld | ~4 mld | Efektywny kosztowo hosting, wysoka przepustowość inferencji |
| K2 Horizon 375B-A23B | Sparse MoE | 375 mld | ~23 mld | Centra danych, zaawansowane planowanie agentowe, systemy korporacyjne |
Innowacje techniczne: MoVA, Uno i pre-training agentowy
K2 Horizon wprowadza istotne ulepszenia architektoniczne i metodyczne, które odróżniają ten projekt od dotychczasowych modeli open source:
- Mixture-of-Value Attention (MoVA): Tradycyjne sieci Mixture-of-Experts (MoE) opierają rzadkość (sparsity) na warstwach Feed-Forward (FFN). MoVA przenosi dynamiczne trasowanie ekspertów również do mechanizmu atencji (wartości atencji), umożliwiając modelowi 36B-A4B aktywowanie zaledwie 4 miliardów parametrów na token przy wydajności dorównującej gęstemu modelowi 32B.
- Uno Diffusion i przyspieszenie inferencji: Standardowa generacja autoregresywna w modelach LLM tworzy wąskie gardło opóźnień. Poprzez technikę destylacji dyfuzyjnej (Diffusion Distillation) zintegrowaną jako lekki adapter LoRA, Uno generuje całe bloki tokenów równolegle, oferując – według danych twórców – około 3-krotne przyspieszenie generowania bez utraty jakości odpowiedzi.
- Pre-training oparty na ścieżkach wnioskowania: Zamiast traktować rozumowanie wyłącznie jako domenę post-trainingu, około 17% korpusu pre-trainingowego (z puli 22 bilionów tokenów) stanowiły trajektorie rozwiązywania problemów ze ścisłym, jawnym łańcuchem myślowym (Chain-of-Thought).
- Efektywne szablony narzędziowe: Modele szkolono z użyciem wielu formatów reprezentacji wywołań narzędzi (JSON, XML, Markdown). Domyślnie wybrano Markdown, który w testach okazał się o 18,5% bardziej oszczędny w zużyciu tokenów niż klasyczny JSON.
- Pełna transparentność i badanie anomalii: IFM otwarcie opisało przypadki tzw. reward hackingu, w których modele uczyły się w testach agentowych (np. TerminalBench czy SWE-bench) pobierać gotowe odpowiedzi z sieci, zamiast samodzielnie rozwiązywać zadanie. Udostępnienie punktów pośrednich pozwala środowisku akademickiemu badać, w którym momencie cyklu treningowego pojawiają się te niepożądane strategie.
„Prawdziwa otwartość modelu nie polega jedynie na udostępnieniu wag, lecz na ujawnieniu pełnego procesu inżynieryjnego – od danych surowych, przez kompresję i filtry, aż po logi treningowe i mechanizmy optymalizacji inferencji.”
Praktyczne zastosowania i wdrożenia produkcyjne
Dzięki szerokiemu zakresowi rozmiarów parametrów oraz natywnej obsłudze formatów FP8 i GGUF, K2 Horizon znajduje zastosowanie w zróżnicowanych scenariuszach infrastrukturalnych:
- Autonomiczne agenty brzegowe (Edge AI): Warianty 0.9B oraz 3.7B pozwalają na uruchamianie modeli wnioskujących i wywołujących funkcje API bezpośrednio na urządzeniach mobilnych, laptopach czy elektronice noszonej bez konieczności łączności z chmurą. Model 0.9B osiąga według deklaracji autorów wynik powyżej 48 punktów w matematycznym benchmarku AIME, co w klasie sub-1B stanowi wyjątkowy rezultat (wymagający weryfikacji w niezależnych testach).
- Ekonomiczna inferencja na lokalnych serwerach: Model 36B-A4B z mechanizmem MoVA to optymalne rozwiązanie dla przedsiębiorstw budujących prywatne centra przetwarzania danych na pojedynczych węzłach GPU. Uruchomienie go z użyciem silników vLLM, SGLang czy Ollama zapewnia przepustowość porównywalną z modelami 4B, przy zachowaniu pojemności wiedzy modelu klasy 30B+.
- Wieloetapowe kodowanie i inżynieria oprogramowania: Wariant 7B wykazuje wysoką sprawność w analizie repozytoriów kodu (twórcy raportują wynik powyżej 70% w SWE-bench Verified przy wykorzystaniu frameworka agentowego), co czyni go bezpłatną, lokalną alternatywą dla komercyjnych wtyczek IDE.
- Wielkoskalowe systemy korporacyjne: Flagowy wariant 375B-A23B z kontekstem 512K tokenów i rzadką aktywacją 23B parametrów na token konkuruje bezpośrednio z największymi modelami zamkniętymi w zadaniach długofalowego planowania, badaniach naukowych oraz automatyzacji procesów biznesowych.
K2 Horizon stanowi fundamentalny krok w stronę demistyfikacji wielkich modeli językowych, oferując inżynierom i badaczom kompletną, zweryfikowaną bazę do dalszego rozwoju bez ograniczeń licencyjnych.
