GGUF (GPT-Generated Unified Format) to format plików binarnych zaprojektowany do wydajnego przechowywania i uruchamiania dużych modeli językowych (LLM), szczególnie na sprzęcie konsumenckim. Jest następcą formatu GGML i umożliwia szybkie ładowanie modeli, obsługę zaawansowanej kwantyzacji oraz integrację metadanych, co pozwala na lokalne korzystanie z AI bez konieczności posiadania potężnych kart graficznych.
Źródło: huggingface.co
📖 Dowiedz się więcej w kontekście:
- Gemma 4 – multimodalne modele Google DeepMind w ekosystemie open source
- Shieldstral 1.0 3B: kompaktowy, wielojęzyczny klasyfikator bezpieczeństwa treści od Mistral AI
- Unsloth Desktop: Lokalne środowisko do uruchamiania i trenowania modeli AI
- Architektura i kompresja Ternary Bonsai 2 27B: Efektywność wag trójwartościowych w modelach multimodalnych
