GGUF (GPT-Generated Unified Format) to format plików binarnych zaprojektowany do wydajnego przechowywania i uruchamiania dużych modeli językowych (LLM), szczególnie na sprzęcie konsumenckim. Jest następcą formatu GGML i umożliwia szybkie ładowanie modeli, obsługę zaawansowanej kwantyzacji oraz integrację metadanych, co pozwala na lokalne korzystanie z AI bez konieczności posiadania potężnych kart graficznych.
📖 Dowiedz się więcej w kontekście:
Reklama
