MatFormer (Matryoshka Transformer) to innowacyjna architektura sieci neuronowych typu Transformer, która dzięki zagnieżdżonej strukturze bloków Feed Forward Network pozwala na trenowanie jednego uniwersalnego modelu, z którego można wyodrębnić setki mniejszych, precyzyjnych submodeli. Rozwiązanie to umożliwia elastyczne wnioskowanie i dostosowanie rozmiaru modelu do ograniczeń sprzętowych bez konieczności ponownego trenowania, destylacji czy stosowania kosztownych technik kompresji.
Źródło: arxiv.org
