vLLM to biblioteka open-source oraz silnik wnioskowania zaprojektowany do szybkiego i wydajnego serwowania dużych modeli językowych (LLM). Rozwiązanie to znacząco zwiększa przepustowość i efektywność wykorzystania pamięci GPU dzięki innowacyjnemu algorytmowi PagedAttention, który optymalizuje zarządzanie pamięcią podręczną KV. Dzięki mechanizmowi ciągłego tworzenia partii (continuous batching), vLLM pozwala na jednoczesną obsługę wielu użytkowników przy zachowaniu niskich opóźnień. Jest to obecnie standard branżowy wykorzystywany do skalowania wdrożeń modeli AI w środowiskach produkcyjnych.
VLLM (High-Performance LLM Inference and Serving) (vLLM)
