Kwantyzacja 4-bitowa to technika kompresji modeli AI, która polega na zapisywaniu wag i parametrów sieci neuronowej przy użyciu zaledwie 4 bitów zamiast standardowych 16 lub 32 bitów. Proces ten pozwala na znaczne zmniejszenie zapotrzebowania na pamięć VRAM i przyspieszenie wnioskowania, umożliwiając uruchamianie dużych modeli językowych na słabszym sprzęcie konsumenckim przy zachowaniu akceptowalnej precyzji.
Źródło: huggingface.co
