Ollama – w lokalnym zarządzaniu modelami językowymi AI

W erze dynamicznego rozwoju sztucznej inteligencji, możliwość lokalnego uruchamiania dużych modeli językowych (LLM) staje się kluczową kompetencją dla developerów i entuzjastów technologii. Ollama jako przełomowe narzędzie open source, oferujące bezprecedensową prostotę w instalacji i konfiguracji modeli takich jak Llama 3 czy Mistral. W przeciwieństwie do chmurowych rozwiązań, ta platforma zapewnia pełną kontrolę nad danymi i procesami przetwarzania, eliminując jednocześnie koszty subskrypcji oraz co najważniejsze działając lokalnie pozwala działać bez dostępu do internetu zapewniając prywatność.

Architektura Ollamy w pigułce

Rdzeń systemu opiera się na lekkim środowisku wykonawczym obsługującym format GGUF, optymalizujący wykorzystanie zasobów sprzętowych. Domyślna konfiguracja wykorzystuje serwer lokalny na porcie 11434, udostępniający REST API do integracji z zewnętrznymi aplikacjami. Mechanizm zarządzania modelami through semantic versioning pozwala na równoległe utrzymywanie różnych wersji tej samej architektury neuronalnej.

Proces instalacji krok po kroku

Dla systemów z rodziny Debian/Ubuntu instalcja sprowadza się do wykonania w terminalu:

curl -fsSL https://ollama.com/install.sh | sh 

curl -fsSL https://ollama.com/install.sh | sh 

Użytkownicy Windows pobierają instalator MSI ze strony projektu, podczas gdy na macOS proces obejmuje instalację przez Homebrew. Weryfikację poprawnej instalacji przeprowadza się komendą ollama --version, oczekując odpowiedzi w formacie semantycznego versioningu.

Można ją pobrać stąd.

Podstawowe operacje modelowe

Implementacja nowego modelu rozpoczyna się od komendy ollama pull nazwa_modelu, gdzie nazwa odpowiada repozytorium w bibliotece Ollamy. Przykładowo, dla Llama 3 8B użyjemy:ollama run llama3:8b

ollama run llama3:8b 

ollama run llama3:8b 

Zaawansowane zarządzanie obejmuje funkcje takie jak:

• Wersjonowanie modeli przez dodanie sufiksu :wersja
• Dynamiczne przełączanie kontekstów z użyciem flagi –model
• Eksport/import modeli w formacie binarnym

Konfiguracja przez Modelfile

Pliki konfiguracyjne w formacie Modelfile pozwalają na precyzyjne dostrojenie parametrów wykonawczych. Przykładowa deklaracja dla modelu specjalizowanego wygląda następująco:

FROM llama3:8b PARAMETER num_ctx 4096 SYSTEM """ Jesteś ekspertem ds. prawa cywilnego specjalizującym się w kodeksie rodzinnym. Odpowiadaj precyzyjnie, cytując konkretne artykuły ustaw. """ 

FROM llama3:8b PARAMETER num_ctx 4096 SYSTEM """ Jesteś ekspertem ds. prawa cywilnego specjalizującym się w kodeksie rodzinnym. Odpowiadaj precyzyjnie, cytując konkretne artykuły ustaw. """ 

Integracja z ekosystemem developerskim

Ollama eksponuje kompletne REST API dokumentowane przez Swagger UI dostępne pod /docs. Przykładowe zapytanie przez cURL:

curl -X POST http://localhost:11434/api/generate -d '{ "model": "llama3:8b", "prompt": "Wyjaśnij teorię względności w trzech zdaniach", "stream": false }' 

curl -X POST http://localhost:11434/api/generate -d '{ "model": "llama3:8b", "prompt": "Wyjaśnij teorię względności w trzech zdaniach", "stream": false }' 

Dla środowisk graficznych rekomendowana jest integracja z Open WebUI – frameworkiem Reactowym oferującym interfejs jak ChatGPT.

Wykorzystywanie w skryptach pythona.

Nie jesteśmy ograniczeni jedynie do porozumiewania się z modelami poprzez zewnętrzne nakładki czy też terminal/cmd, można to zrobić za pomocą poniższego kodu:

import ollama
response = ollama.chat(
        model='deepseek-r1:8b',
        messages=[{
            'role': 'user',
            'content': "Prompt użytkownika"
        }]
    )
print(response['message']['content'])

import ollama

response = ollama.chat(
        model='deepseek-r1:8b',
        messages=[{
            'role': 'user',
            'content': "Prompt użytkownika"
        }]
    )
print(response['message']['content'])

Gdzie model to wskazanie dokładnej nazwy z komendy

ollama list

ollama list

a w messages rola oraz prompt, to pole może się różnić w zależności od modelu, niektóre jak np. llama3.2-vision obsługują pliki i potrafią być obsługiwane.

Lista modeli

Lista modeli nieustannie się zmienia i na niej wiele modeli jest aktualizowanych.
Dostępna jest pod tym adresem a znaleźć tam można bardzo szczegółowe opisy oraz instrukcje.

W dniu 30 lipca 2025 został wprowadzony interfejs graficzny który ułatwia zarządzanie jak i też komunikacje z modelami i ich testowanie. Interfejs jest prosty, lewym górnym rogu mamy przyciski do listy konwersacji i rozpoczęcia rozmów a przy rozmowie jest opcja jak mocno model ma „myśleć” przy konwersacji jak i też ma dostęp do wyszukiwania informacji.
W przypadku korzystania z wyszukiwania to wymagane jest konto ollamy które jest darmowe.

Gdy chcemy użyć modeli w chmurze np. w n8n to ważne jest by najpierw z nim porozmawiać z interfejsu graficznego by pojawił się na liście wyboru lub za pomocą polecenia ollama run gpt-oss:20b-cloud.

Ustawiania ollamy

W tym widoku widać kilka ważnych ustawień, które wpływają na to, jak Ollama działa na co dzień. Każda z tych opcji odpowiada za inny aspekt: dostęp do modeli chmurowych, aktualizacje, połączenie sieciowe, miejsce zapisu modeli i długość kontekstu. Warto je rozumieć, bo od nich zależy wygoda, prywatność i wydajność pracy z lokalnymi modelami.

Cloud

Opcja Cloud włącza modele chmurowe oraz wyszukiwanie w sieci. To przydatne, gdy chcesz korzystać nie tylko z modeli lokalnych, ale też z dodatkowych źródeł informacji. Trzeba jednak pamiętać, że w takim trybie część zapytań może wychodzić poza lokalny komputer, więc nie jest to już wyłącznie środowisko offline.

Auto-download updates

Auto-download updates automatycznie pobiera dostępne aktualizacje. Dzięki temu nie musisz samodzielnie sprawdzać nowych wersji, a aplikacja może szybciej korzystać z poprawek i nowych funkcji. To wygodna opcja, jeśli chcesz mieć Ollamę możliwie zawsze na bieżąco.

Expose Ollama to the network

Opcja Expose Ollama to the network pozwala innym urządzeniom i usługom w sieci łączyć się z Ollamą. Jest to przydatne, gdy chcesz używać modeli z innego komputera, telefonu albo zewnętrznej aplikacji. Warto włączać ją świadomie, bo oznacza to szerszy dostęp do Twojej instancji Ollamy.

Model location

Model location pokazuje, gdzie są przechowywane modele. To ważne, jeśli chcesz oszczędzać miejsce na dysku, przenieść modele na inny nośnik albo po prostu wiedzieć, ile zajmują zasobów. Dzięki opcji Browse możesz łatwo wskazać nowy folder, w którym Ollama będzie trzymała pliki modeli.

Context length

Context length określa, ile treści model może „pamiętać” w ramach jednej rozmowy. Im większa wartość, tym więcej wcześniejszych wiadomości i danych model może uwzględnić przy odpowiedzi. Większy kontekst jest wygodny przy dłuższych rozmowach lub pracy z dużymi tekstami, ale zwykle wymaga też więcej pamięci i może być cięższy dla sprzętu. Oficjalne zalecenia w zależności od VRAM:

• Mniej niż 24 GB VRAM: 4k context
• 24-48 GB VRAM: 32k context
• 48 GB i więcej VRAM: 256k context

Nowość: dodawanie modeli GGUF do Ollamy

W nowszych wersjach Ollamy można łatwo dodać własny model w formacie GGUF.
W praktyce wystarczy pobrać plik modelu, utworzyć plik Modelfile
z linią FROM ./nazwa-modelu.gguf, a następnie uruchomić
ollama create oraz ollama run.

To ważna zmiana, bo upraszcza import modeli spoza biblioteki Ollamy i rozszerza
zgodność z szerszym ekosystemem GGUF, w tym wybranymi fine-tune’ami oraz modelami
obsługiwanymi przez llama.cpp.

Tekst został zaktualizowany 4.06.2026.

Źródła

• Oficjalne repozytorium Ollama na GitHub
• Katalog modeli Ollama
• Poradnik integracji z Open WebUI

curl -fsSL https://ollama.com/install.sh | sh  

ollama run llama3:8b  

curl -X POST http://localhost:11434/api/generate \
     -d '{"model":"llama3:8b","prompt":"Explain relativity in three sentences","stream":false}'