GGML to otwartoźródłowa biblioteka tensorowa napisana w języku C, stworzona przez Georgiego Gerganova w celu umożliwienia wydajnego uruchamiania dużych modeli językowych na standardowym sprzęcie konsumenckim, głównie procesorach CPU. Termin ten odnosi się również do binarnego formatu zapisu modeli, który pozwala na ich dystrybucję w pojedynczym pliku i wykorzystuje techniki kwantyzacji dla znacznego zmniejszenia wymagań pamięciowych. Choć format ten stał się fundamentem dla takich projektów jak llama.cpp, obecnie został on zastąpiony przez nowocześniejszy i bardziej elastyczny standard GGUF.
📖 Dowiedz się więcej w kontekście:
Reklama
