Terminal-Bench to zestaw testów porównawczych służący do oceny zdolności autonomicznych agentów AI do wykonywania zadań w środowisku wiersza poleceń. Pozwala on na weryfikację umiejętności modeli w zakresie obsługi terminala, wykonywania komend systemowych oraz rozwiązywania problemów programistycznych. Dzięki standaryzowanym zadaniom badacze mogą precyzyjnie mierzyć skuteczność i niezawodność sztucznej inteligencji w realistycznych warunkach pracy inżynierskiej. Środowisko to stanowi istotny krok w rozwoju automatyzacji procesów programistycznych i zarządzania systemami.
Źródło: arxiv.org
