INT4 to format zapisu danych wykorzystujący 4 bity, który w kontekście sztucznej inteligencji służy do agresywnej kwantyzacji wag modeli językowych. Technika ta pozwala na ośmiokrotne zmniejszenie rozmiaru modelu w porównaniu do standardowej precyzji 32-bitowej, co znacząco obniża zapotrzebowanie na pamięć VRAM i przyspiesza generowanie odpowiedzi. Stanowi ona popularny kompromis, oferując dużą wydajność przy zachowaniu akceptowalnego poziomu dokładności modelu.
Źródło: huggingface.co
