OpenAI Code Generation Benchmark, znany jako HumanEval, to zestaw testowy opracowany przez OpenAI do oceny zdolności modeli językowych w zakresie generowania kodu programistycznego. Składa się on ze 164 problemów w języku Python, które sprawdzają umiejętność tworzenia poprawnych funkcji na podstawie opisów tekstowych i testów jednostkowych. Benchmark ten mierzy efektywność modeli za pomocą wskaźnika Pass@k, co pozwala precyzyjnie określić prawdopodobieństwo wygenerowania działającego rozwiązania. Jest to obecnie jeden z najważniejszych standardów służących do porównywania kompetencji technicznych i logicznych nowoczesnych systemów sztucznej inteligencji.
Źródło: github.com
