Spis treści
Ollama: Strumieniowe tool calling i system myślenia
Platforma Ollama wprowadza dwie przełomowe funkcjonalności, które znacząco rozszerzają możliwości lokalnych modeli językowych. Strumieniowe wywołania narzędzi oraz natywny system myślenia przekształcają sposób interakcji z modelami AI na poziomie lokalnym.
Strumieniowe wywołania narzędzi
Najnowsza aktualizacja Ollama umożliwia strumieniowanie odpowiedzi z jednoczesnym wywoływaniem narzędzi w czasie rzeczywistym. Wcześniej system musiał czekać na wygenerowanie pełnej odpowiedzi przed analizą potencjalnych wywołań narzędzi. Nowy przyrostowy parser analizuje każdy token na bieżąco, identyfikując fragmenty będące częścią wywołań narzędzi.
Technologia wykorzystuje algorytm referencji do szablonów modeli, co pozwala na precyzyjne rozdzielenie treści od wywołań funkcji. Obsługiwane modele obejmują Qwen3 oraz inne kompatybilne architektury. Parser radzi sobie z modelami trenowanymi zarówno z prefiksami narzędzi, jak i bez nich, zapewniając uniwersalność rozwiązania.
System myślenia (Thinking)
Druga kluczowa funkcjonalność to natywne wsparcie dla procesu myślenia modeli. System pozwala na włączanie lub wyłączanie widoczności procesu rozumowania przed wygenerowaniem finalnej odpowiedzi. Obsługiwane modele to DeepSeek R1 i Qwen 3.
W interfejsie CLI funkcję włącza się poleceniem /set think, a wyłącza przez /set nothink. W API wykorzystuje się parametr "think": true lub "think": false. Tryb myślenia pozwala na dokładniejsze odpowiedzi poprzez analizę różnych perspektyw problemu.
Zastosowania praktyczne
Połączenie obu funkcjonalności otwiera nowe możliwości dla aplikacji konwersacyjnych. Deweloperzy mogą tworzyć systemy, które:
- Strumieniują treść z jednoczesnym dostępem do zewnętrznych narzędzi
- Wizualizują proces myślenia AI w interfejsach graficznych
- Implementują NPC w grach z “bąbelkami myśli”
- Budują asystentów z transparentnym procesem rozumowania
Funkcjonalności współpracują z Model Context Protocol (MCP), umożliwiając integrację z zewnętrznymi systemami przy zachowaniu lokalnego przetwarzania danych.
APEX: Nowa metoda trenowania dużych modeli językowych z wykorzystaniem korzystnych parametrów
Badacze z dziedziny sztucznej inteligencji przedstawili innowacyjną metodę trenowania wielkich modeli językowych (LLM), która może znacząco zmniejszyć koszty obliczeniowe przy zachowaniu wysokiej wydajności. Metoda APEX (Advantageous Parameter EXpansion Training) opiera się na obserwacji, że tylko część parametrów modelu odgrywa kluczową rolę w jego działaniu.
Kluczowe założenia techniczne
Analiza aktywacji w nowoczesnych modelach transformerowych wykazuje, że parametry można podzielić na dwie kategorie: korzystne i niekorzystne. Korzystne parametry charakteryzują się wysokimi aktywacjami i mają decydujący wpływ na wydajność modelu. W przeciwieństwie do tego, parametry niekorzystne wykazują niskie aktywacje i ich maskowanie ma minimalny wpływ na wyniki. Silniejsze modele posiadają bardziej równomierne rozkłady aktywacji, co wskazuje na większą liczbę korzystnych parametrów.
APEX wykorzystuje operatory ekspansji, które progresywnie rozszerzają przestrzeń parametrów korzystnych na obszary zajmowane przez parametry niekorzystne. Proces ten odbywa się etapowo – na początku każdego etapu system ponownie identyfikuje zestawy parametrów na podstawie ich aktywacji z poprzedniego etapu. Metoda wykorzystuje macierze transformacji inicjalizowane zerami, co zapewnia kompatybilność z oryginalną architekturą modelu.
Praktyczne zastosowania i wyniki
Eksperymenty wykazały skuteczność APEX w dwóch scenariuszach treningowych. W dostrajaniu instrukcyjnym metoda przewyższyła pełny trening parametrów, używając jedynie 52% parametrów trenowalnych. W przypadku kontynuacji pre-treningu APEX osiągnął ten sam poziom perpleksji co konwencjonalne podejście, wykorzystując tylko 33% budżetu danych treningowych.
Metoda pozwala instytucjom badawczym o ograniczonych zasobach na skuteczne trenowanie większych modeli przy znacznie niższych kosztach obliczeniowych.
APEX może być zintegrowany z istniejącymi procedurami treningowymi bez modyfikacji architektury modelu. Teoretyczna analiza pokazuje, że metoda zwiększa efektywną rangę macierzy wag, co prowadzi do lepszego wykorzystania całej macierzy parametrów. To podejście otwiera nowe możliwości dla demokratyzacji dostępu do zaawansowanych technologii AI.
DeepSeek-R1-0528: Nowa wersja modelu AI z ulepszonymi możliwościami rozumowania
DeepSeek opublikował nową wersję swojego modelu AI o nazwie DeepSeek-R1-0528, która wprowadza znaczące ulepszenia w zakresie wydajności i możliwości rozumowania. Model ten stanowi kolejny krok w rozwoju otwartych technologii sztucznej inteligencji, oferując konkurencyjne możliwości w porównaniu z rozwiązaniami komercyjnymi.
Kluczowe ulepszenia techniczne
Najnowsza wersja DeepSeek-R1-0528 wykazuje znaczące poprawy w testach porównawczych, szczególnie w zadaniach wymagających złożonego rozumowania matematycznego. W teście AIME 2025 dokładność modelu wzrosła z 70% w poprzedniej wersji do 87,5% w obecnej. Ta poprawa wynika z głębszego procesu myślenia – model wykorzystuje teraz średnio 23 000 tokenów na pytanie w porównaniu do 12 000 tokenów w poprzedniej wersji. Dodatkowo model osiągnął wyniki 91,4% w teście AIME 2024 oraz 79,4% w HMMT 2025.
Istotnym usprawnieniem jest również redukcja halucynacji, która została osiągnięta poprzez wieloetapowy proces treningowy. DeepSeek zastosował mechanizmy takie jak dodanie danych “cold-start”, nagrody za spójność językową w uczeniu ze wzmocnieniem oraz odrzucanie chaotycznych wyników podczas treningu. Te techniki przyczyniły się do uzyskania bardziej wiarygodnych i konsystentnych odpowiedzi.
Praktyczne zastosowania
Model oferuje ulepszone możliwości w zakresie programowania, osiągając 73,3% dokładności w LiveCodeBench oraz rating 1930 w Codeforces-Div1. Wprowadzono również lepsze wsparcie dla wywołań funkcji oraz generowania wyników w formacie JSON. Użytkownicy mogą przetestować model bezpłatnie na stronie chat.deepseek.com, a wagi modelu są dostępne jako open source na platformie Hugging Face. API pozostaje niezmienione, co ułatwia migrację z poprzednich wersji bez konieczności zmian w kodzie.
