Mathematical Reasoning Benchmark (MATH) to zestaw testowy służący do oceny zaawansowanych zdolności modeli językowych w zakresie rozwiązywania złożonych problemów matematycznych. Składa się on z tysięcy zadań na poziomie konkursów dla szkół średnich, obejmujących takie dziedziny jak algebra, geometria czy rachunek prawdopodobieństwa. W przeciwieństwie do prostszych benchmarków, MATH wymaga od sztucznej inteligencji przeprowadzenia wieloetapowego rozumowania logicznego w celu uzyskania poprawnego wyniku. Jest on obecnie uznawany za jeden z najbardziej wymagających standardów mierzących postępy w rozwoju inteligencji ogólnej modeli AI.
📖 Dowiedz się więcej w kontekście:
Reklama
