Central Processing Unit, used for AI inference on non‑GPU hardware (CPU)

Central Processing Unit (CPU), czyli centralna jednostka obliczeniowa, to główny układ procesora w komputerze, który odpowiada za interpretację i wykonywanie instrukcji programowych oraz sterowanie pracą całego systemu. Choć w zadaniach sztucznej inteligencji powszechnie stosuje się procesory graficzne (GPU) lub dedykowane układy NPU, CPU odgrywa kluczową rolę w uruchamianiu wnioskowania AI (inference) na sprzęcie pozbawionym dedykowanych akceleratorów. Działa na zasadzie sekwencyjnego przetwarzania danych przy użyciu zaawansowanych rdzeni ogólnego przeznaczenia, co zapewnia wysoką elastyczność w obsłudze różnorodnych algorytmów. W kontekście lokalnych modeli językowych (LLM) optymalne wykorzystanie CPU jest możliwe dzięki lekkim silnikom wnioskowania, takim jak llama.cpp, które pozwalają na efektywne uruchamianie modeli bez zaawansowanej karty graficznej.