Humanity’s Last Exam (HLE) to benchmark stworzony przez Center for AI Safety i Scale AI, składający się z około 2500 pytań na poziomie eksperckim z szerokiego zakresu dziedzin, takich jak nauki ścisłe, humanistyka i specjalistyczne dziedziny (np. paleografia, mikroanatomia). Test został opracowany przez konsorcjum niemal 1000 ekspertów z całego świata, a jego pytania zostały wyselekcjonowane tak, aby były trudne nawet dla obecnie najbardziej zaawansowanych modeli językowych (np. GPT-4o osiągnął wynik 2,7%, Claude 3.5 Sonnet 4,1%). Celem jest obiektywne mierzenie postępów AI w kierunku osiągnięcia poziomu ludzkiej ekspertyzy oraz zastąpienie nasyconych benchmarków, takich jak MMLU.
Źródło: en.wikipedia.org
