Inference snaps to zoptymalizowane modele generatywnej AI dostarczane w formie pakietów snap, które umożliwiają łatwą instalację i uruchamianie modeli lokalnie na systemie Ubuntu. Technologia ta automatycznie wykrywa sprzęt użytkownika i instaluje najlepiej dopasowane wagi modelu oraz silniki uruchomieniowe, optymalizując wydajność pod kątem procesorów CPU, GPU lub NPU. Dzięki temu programiści i użytkownicy końcowi mogą korzystać z zaawansowanych możliwości AI bez konieczności ręcznej konfiguracji złożonych zależności i parametrów specyficznych dla sprzętu.
📖 Dowiedz się więcej w kontekście:
Reklama
