Streszczenie AI
Liquid AI wypuściła na Hugging Face dwa open-weightowe modele decyzyjne – d1‑3B i d1‑omni‑600M – które zamiast tradycyjnego autoregresywnego dekodowania wykorzystują pojedyncze przejście sieciowe, co eliminuje opóźnienia i halucynacje formatowe. Zestaw decision Index 0.2.1 oraz różnorodne benchmarki pokazują, że d1‑3B przewyższa konkurencyjne architektury do 10 mln parametrów, a kompaktowy d1‑omni‑600M osiąga ponad 78 % skuteczności przy czterokrotnie mniejszej liczbie wag. Dzięki deterministycznym, niskim latencjom i wsparciu multimodalnemu, modele te idealnie nadają się do uruchamiania na urządzeniach brzegowych i integracji z agentowymi systemami.
Spis treści:
Firma Liquid AI udostępniła na platformie Hugging Face otwarte wagi wyspecjalizowanych modeli decyzyjnych d1-3B oraz d1-omni-600M. Modele te rezygnują z tradycyjnego dekodowania autoregresywnego na rzecz natychmiastowej inferencji w pojedynczym przejściu w przód sieci (ang. single forward pass). Rozwiązanie to stanowi bezpośrednią alternatywę dla kosztownych zapytań API do dużych modeli językowych (LLM) w zadaniach routingu, walidacji danych, oceny ryzyka oraz klasyfikacji multimodalnej bezpośrednio na urządzeniach brzegowych.
Architektura i fundamentalna zmiana paradygmatu decyzyjnego
Klasyczne modele generatywne generują ciąg tokenów jeden po drugim, co generuje wysoki narzut opóźnień (ang. latency) i wymaga parsowania tekstu w poszukiwaniu struktur JSON lub flag logicznych. Architektura d1 działa odmiennie: przyjmuje stan wejściowy (tekst, kod JSON, obraz lub dźwięk) oraz zestaw sformalizowanych pytań, a następnie zwraca bezpośrednio skalibrowane prawdopodobieństwa i stypizowane wyniki bez wygenerowania choćby jednego tokenu wyjściowego.
W ramach rodziny open-d1 zaprezentowano dwa odmienne pod względem technicznym warianty:
- d1-3B: Oparty na bazowym modelu LFM2.5-VL-3B o architekturze typu decoder-only. Wykorzystuje enkoder wizyjny SigLIP2 NaFlex (ok. 400M parametrów), obsługuje do 32 768 tokenów kontekstu i przetwarza równolegle dane tekstowe oraz wizualne.
- d1-omni-600M (wersja eksperymentalna): Zbudowany na bazie dwukierunkowego enkodera LFM2.5-Encoder-350M. Został rozbudowany o dedykowane enkodery modalności wizyjnej i dźwiękowej, co pozwala na jednoczesną analizę par tekst-obraz lub tekst-audio przy łącznym rozmiarze poniżej 600 milionów parametrów.
Modele decyzyjne nie tracą zasobów na generowanie syntaktyki tekstu naturalnego – ich celem jest natychmiastowa kompresja kontekstu wejściowego do precyzyjnego wektora decyzyjnego.
Wyniki testów porównawczych i ewaluacja jakości
W benchmarku Decision Index 0.2.1 model d1-3B osiągnął wynik 48,57 punktu, wyprzedzając wszystkie konkurencyjne architektury w klasie do 10 miliardów parametrów, w tym znacznie większy model Decider 35B-A3B (47,11 punktu). Przetestowano go również na siedmiu standardowych zestawach ewaluacyjnych, obejmujących m.in. ekstrakcję faktów medycznych, kategoryzację intencji, wykrywanie toksyczności i wnioskowanie wielojęzyczne.
Zestaw testowy (Benchmark) | d1-omni-600M | d1-3B | Decider 2B | Decider 4B |
|---|---|---|---|---|
| SQuAD 2.0 (Ekstrakcja i czytanie) | 74,0% | 83,3% | 67,7% | 76,0% |
| Civil Comments (Detekcja toksyczności) | 95,8% | 93,3% | 93,6% | 92,8% |
| MASSIVE (Klasyfikacja intencji) | 86,1% | 86,9% | 81,1% | 88,3% |
| PubMedQA (Medyczne QA) | 61,3% | 68,3% | 65,7% | 63,3% |
| BoolQ (Odpowiedzi binarne) | 77,7% | 86,3% | 87,3% | 89,0% |
| XNLI (Wnioskowanie wielojęzyczne) | 74,7% | 85,6% | 85,0% | 88,6% |
| PAWS-X (Parafrazy krzyżowe) | 79,5% | 76,4% | 59,5% | 69,8% |
| Średnia arytmetyczna | 78,4% | 82,9% | 77,1% | 81,1% |
Kompaktowy model d1-omni-600M osiągnął średni wynik 78,4%, przewyższając konkurencyjny Decider 2B (77,1%), pomimo posiadania czterokrotnie mniejszej liczby wag roboczych. Z kolei d1-3B ze średnią 82,9% okazał się stabilniejszy niż Decider 4B.
Wydajność sprzętowa i opóźnienia inferencji
Zastosowanie pojedynczego przejścia w przód sieci eliminuje zależność czasu wykonania od długości generowanej odpowiedzi (brak pętli auto-regresywnej KV-cache). Pomiary opóźnień dla d1-3B pokazują deterministyczne czasy reakcji na akceleratorach stacjonarnych, serwerowych oraz układach wbudowanych (ang. edge computing).
Platforma sprzętowa | Pojedyncze pytanie | 3 pytania | Kontekst 3,4 tys. tokenów | Obraz (384 px) | Przepustowość (upakowane 64 stany) |
|---|---|---|---|---|---|
| NVIDIA RTX 4090 | 8 ms | 21 ms | 102 ms | 17 ms | 475 stanów / s |
| AMD Instinct MI325X | 9 ms | 14 ms | 44 ms | 18 ms | 1106 stanów / s |
| Apple M5 Pro | 30 ms | 41 ms | 640 ms | 62 ms | 78 stanów / s |
| NVIDIA Jetson AGX Thor | 16 ms | 20 ms | 220 ms | 35 ms | 262 stanów / s |
| NVIDIA Jetson AGX Orin (64 GB) | 26 ms | 35 ms | 560 ms | 83 ms | 110 stanów / s |
| NVIDIA Jetson Orin Nano | 50 ms | 73 ms | 1640 ms | 202 ms | 38 stanów / s |
Wzrost liczby jednoczesnych pytań z 1 do 3 wydłuża czas wykonania jedynie o współczynnik 1,3x (np. z 16 ms do 20 ms na platformie Jetson Thor). Wynika to z faktu, że koszt przetwarzania samego kontekstu jest ponoszony tylko raz, a głowice klasyfikacyjne obliczane są równolegle w tym samym przebiegu tensora.
Praktyczna implementacja w ekosystemie Hugging Face
Do uruchomienia d1 wymagane jest środowisko Python z biblioteką transformers>=5.14 oraz parametrem trust_remote_code=True. Model udostępnia metodę system_one, przyjmującą definicje pytań binarnych (typ bool), wyboru wielowariantowego (typ choice) lub rangowania skali (typ score).
Poniższy fragment kodu ilustruje routing zgłoszenia klienta oraz analizę obrazu w lokalnym potoku inferencyjnym:
import torch
from transformers import AutoModel
from PIL import Image
device = "cuda" if torch.cuda.is_available() else "cpu"
dtype = torch.bfloat16 if device == "cuda" else torch.float32
# Inicjalizacja modelu d1-3B
model = AutoModel.from_pretrained(
"LiquidAI/d1-3B",
trust_remote_code=True,
torch_dtype=dtype
).to(device)
# Definicja schematu pytań
schema = {
"czy_reklamacja": {
"type": "bool",
"instructions": "Czy użytkownik wnioskuje o zwrot płatności?"
},
"dzial_docelowy": {
"type": "choice",
"instructions": "Do którego działu skierować sprawę?",
"criteria": {
"finanse": "Podwójne obciążenia, faktury, korekty",
"support": "Błędy aplikacji, problemy z logowaniem",
"bezpieczenstwo": "Podejrzenie nieautoryzowanego dostępu"
}
},
"priorytet": {
"type": "score",
"instructions": "Oceń krytyczność zgłoszenia",
"criteria": ["Niski", "Średni", "Krytyczny / Blokujący"]
}
}
tekst_zgloszenia = "Pobrano mi opłatę za subskrypcję dwukrotnie. Proszę o natychmiastowy zwrot."
decyzja = model.system_one(tekst_zgloszenia, schema)
# Zwraca gotowy słownik z etykietami i prawdopodobieństwami bez parsowania tekstu
Scenariusze inżynieryjne i wdrożenia produkcyjne
Wykorzystanie modeli typu non-generative decision models eliminuje podatność na halucynacje składniowe i błędy formatowania odpowiedzi, z którymi mierzą się inżynierowie integrujący frameworki agentowe. Kluczowe obszary wdrożeniowe obejmują:
- Filtry bezpieczeństwa i guardraile agentów AI: Błyskawiczna (poniżej 10 ms) weryfikacja intencji użytkownika pod kątem jailbreaków lub wstrzykiwania promptów (ang. prompt injection) przed przekazaniem zapytania do kosztownego modelu orkiestrującego.
- Dynamiczny routing zapytań: Klasyfikacja stopnia złożoności zapytania w celu skierowania go do mniejszego modelu lokalnego lub instancji chmurowej frontier-class.
- Wizualna inspekcja jakości na brzegu sieci: Wykorzystanie d1-3B na mikrokontrolerach NVIDIA Jetson w liniach produkcyjnych do detekcji defektów, zliczania obiektów czy weryfikacji etykiet logistycznych bez konieczności transmisji strumienia wideo do chmury.
- Wielomodalne interfejsy głosowe (z d1-omni-600M): Bezpośrednia analiza intencji wypowiedzi audio w robotyce domowej i systemach automotive bez etapu pośredniej transkrypcji ASR (ang. Automatic Speech Recognition), co drastycznie obniża czas reakcji urządzenia.
Podsumowanie techniczne
Udostępnienie wag d1-3B oraz d1-omni-600M w trybie open-weight reprezentuje pragmatyczny zwrot w architekturze systemów AI: odchodzenie od uniwersalnych modeli generatywnych tam, gdzie celem operacyjnym jest jedynie precyzyjna kategoryzacja, ocena lub selekcja akcji. Deterministyczny czas inferencji, małe zapotrzebowanie na pamięć VRAM i natywna multimodalność czynią z open-d1 kluczowy komponent nowoczesnych, hybrydowych architektur agentowych.
