Strukturalna kompresja dużych modeli językowych to technika optymalizacji polegająca na usuwaniu lub zmniejszaniu całych spójnych elementów architektury sieci neuronowej, takich jak warstwy, bloki czy głowice uwagi. W przeciwieństwie do kompresji niestrukturalnej, metody te modyfikują fizyczną strukturę modelu, co pozwala na bezpośrednie zmniejszenie zużycia pamięci oraz przyspieszenie czasu wnioskowania bez konieczności stosowania dedykowanego sprzętu. Dzięki temu skompresowane modele mogą być efektywnie uruchamiane na urządzeniach o ograniczonych zasobach obliczeniowych. Proces ten często wymaga krótkiego dostrajania, aby zminimalizować spadek jakości generowanych odpowiedzi.
Źródło: github.com
