GGUF (GPT-Generated Unified Format) to binarny format plików zaprojektowany do wydajnego przechowywania i uruchamiania dużych modeli językowych na sprzęcie konsumenckim. Jest następcą formatu GGML, oferując lepszą elastyczność, szybsze ładowanie danych oraz możliwość zawarcia wszystkich niezbędnych metadanych i parametrów modelu w jednym pliku. Pozwala na optymalizację modeli poprzez kwantyzację, co umożliwia ich działanie nawet na komputerach bez potężnych kart graficznych.
📖 Dowiedz się więcej w kontekście:
Reklama
