Shieldstral 1.0 3B: kompaktowy, wielojęzyczny klasyfikator bezpieczeństwa treści od Mistral AI

Shieldstral 1.0 3B to otwarty, 3-miliardowy model Mistral AI zaprojektowany jako wielomodalny klasyfikator bezpieczeństwa treści, który ocenia zgodność z polityką moderacji opisaną w języku naturalnym i zwraca pojedynczy, ciągły wynik zaufania w jednym przejściu sieci. Dzięki temu może działać jako „guardrail” dla tekstu, obrazu oraz kombinacji tekst+obraz, a kryteria moderacji można zmieniać w czasie inferencji bez konieczności dotrenowywania modelu.

Idea i architektura

Zamiast przewidywać sztywny zestaw kategorii (np. „przemoc”, „nagość”, „mowa nienawiści”), Shieldstral przyjmuje politykę bezpieczeństwa w formie pytania lub instrukcji w języku naturalnym i na tej podstawie zwraca prawdopodobieństwo, że treść jest bezpieczna („yes”) lub niebezpieczna („no”). W praktyce oznacza to, że ten sam checkpoint może obsługiwać nowe, nieszablonowe zasady moderacji – wystarczy zmienić prompt z polityką, a nie wagę modelu.

Architekturalnie model bazuje na Ministral-3-3B-Base-2512 z natywnym enkoderem wizyjnym Pixtral, co daje spójny interfejs dla trzech trybów: tekst-only, obraz-only oraz tekst+obraz. Klasyfikacja odbywa się w jednym kroku forward, a na wyjściu otrzymujemy logity dla tokenów „yes”/„no”, które po normalizacji softmax dają ciągły score bezpieczeństwa.

Kluczowe właściwości techniczne

• Rozmiar i wymagania sprzętowe: 3B parametrów, mieści się w ~16 GB VRAM w formacie BF16, co pozwala na uruchomienie na pojedynczym GPU konsumenckim.
• Wielojęzyczność: obsługuje 12 języków, w tym angielski, francuski, hiszpański, niemiecki, włoski, portugalski, niderlandzki, chiński, japoński, koreański, arabski i rosyjski.
• Okno kontekstowe: trenowany na sekwencjach do 32k tokenów; teoretycznie obsługuje do 256k, ale zaleca się trzymać w zakresie treningowym (≤32k).
• Tryb działania: klasyfikator, nie model generatywny – nie produkuje tekstu, tylko jeden token decyzyjny i score.
• Licencja: Apache 2.0, co ułatwia integrację komercyjną i modyfikacje.

Jak wygląda inferencja w praktyce

W typowym scenariuszu deployu model jest serwowany przez vLLM (rekomendowane), llama.cpp, SGLang lub Transformers. Przykładowo, vLLM można uruchomić komendą:

vllm serve mistralai/Shieldstral-1.0-3B --max-model-len 32768

Następnie wysyła się zapytanie w formacie chat z:

• treścią do oceny (tekst i/lub obraz),
• polityką bezpieczeństwa jako „system message” lub część promptu (np. „Czy ta treść łamie zasadę X?”),
• parametrami max_tokens=1 oraz logprobs=True, top_logprobs=20, aby uzyskać logity dla „yes” i „no”.

Score bezpieczeństwa oblicza się jako znormalizowane prawdopodobieństwo tokenu „yes” względem pary {yes, no}. Wartość progowa (np. 0.5 lub bardziej konserwatywna) decyduje o binarnej decyzji „bezpieczne/niebezpieczne”, podczas gdy ciągły wynik pozwala na bardziej subtelne reguły biznesowe (np. flagowanie do recenzji ludzkiej przy score 0.3–0.7).

Wersje i formaty: GGUF, ONNX, quantyzacja

Oprócz oryginalnych wag w formacie Mistral/Safetensors, społeczność udostępniła wersje skwantyzowane i przekonwertowane:

• GGUF (llama.cpp): konwersja przez convert_hf_to_gguf.py z opcją --mistral-format --outtype bf16, co daje plik .gguf uruchamialny w llama-server z akceleracją CUDA.
• ONNX (przeglądarka): repozytorium montevive/Shieldstral-1.0-3B-ONNX zawiera eksport ścieżki tekstowej (bez enkodera wizyjnego, bez KV cache), przeznaczony do inferencji w przeglądarce przez onnxruntime-web.
• Quantyzacja 4-bit i 8-bit: dostępne są wersje 4-bitowe (np. MLX 4-bit) oraz inne warianty skwantyzowane, które zmniejszają rozmiar i zapotrzebowanie na pamięć kosztem niewielkiej utraty precyzji.

Wersja ONNX jest celowo ograniczona do ścieżki tekstowej i nie jest zamiennikiem dla pełnego modelu multimodalnego – służy głównie do demonstracji i lekkich zastosowań w przeglądarce.

Zastosowania praktyczne

Shieldstral można wykorzystać jako warstwę moderacji w różnych produktach:

• Moderacja treści generowanych przez użytkowników (UGC): komentarze, posty, wiadomości, obrazy przesyłane przez użytkowników – model ocenia zgodność z polityką platformy opisaną wprost w prompcie.
• Filtrowanie outputu asystentów i agentów AI: przed wyświetleniem odpowiedzi użytkownikowi, Shieldstral może sprawdzić, czy generat nie łamie zasad (np. nie podaje instrukcji dotyczących niebezpiecznych działań).
• On-device / edge moderacja: dzięki rozmiarowi 3B i możliwości działania na 16 GB GPU, model nadaje się do wdrożeń lokalnych, w tym w środowiskach o ograniczonej infrastrukturze chmurowej.
• Elastyczne polityki bezpieczeństwa: firmy mogą dynamicznie zmieniać zasady moderacji (np. różne reguły dla różnych regionów lub grup wiekowych) bez konieczności retrenowania modelu – wystarczy zmiana promptu z polityką.
• Multimodalne aplikacje: jednolity interfejs dla tekstu i obrazu upraszcza architekturę systemów, które muszą moderować zarówno opisy, jak i załączniki graficzne.

Ograniczenia i uwagi

Shieldstral jest klasyfikatorem, a nie modelem konwersacyjnym – nie nadaje się do generowania tekstu ani do długich dialogów. Jego skuteczność zależy od jakości i precyzji zdefiniowanej polityki w prompcie; zbyt ogólne lub sprzeczne instrukcje mogą prowadzić do niejednoznacznych wyników. Ponadto, choć model obsługuje wiele języków, jego wydajność może się różnić w zależności od języka i domeny, co wymaga empirycznej kalibracji progów decyzyjnych.

Wersje skwantyzowane i ONNX mogą wykazywać niewielkie odchylenia w logitach w porównaniu do oryginalnego modelu FP32/BF16, co w bardzo czułych zastosowaniach może wymagać dodatkowej walidacji.

Podsumowanie

Shieldstral 1.0 3B wypełnia lukę między dużymi, kosztownymi modelami moderacji a prostymi, sztywnymi klasyfikatorami, oferując otwarty, wielojęzyczny i wielomodalny guardrail, który można łatwo dostosować do własnych polityk bezpieczeństwa. Jego kompaktowy rozmiar, licencja Apache 2.0 i wsparcie dla popularnych frameworków (vLLM, llama.cpp, Transformers) czynią go praktycznym wyborem dla zespołów budujących bezpieczne aplikacje AI – od chatbotów po platformy społecznościowe.

Źródła

• mistralai/Shieldstral-1.0-3B – Hugging Face
• Introducing Shieldstral, Mistral’s 3B open-weights model for content safety – Mistral AI on X
• montevive/Shieldstral-1.0-3B-ONNX – Hugging Face
• Mistral Launches Shieldstral: A 3B Small Model Runs on Single 16GB GPU – AI NEWS