연구진이 수학 문제 해결을 위한 새로운 벤치마크 MIRA-Math를 발표했어요. 이 벤치마크는 풀 상태가 유일한 답을 가지지만, 솔버가 필요한 사실 하나가 누락된 수학 문제를 다뤄요.
솔버는 제한된 예산 하에 자연어 요청을 통해 누락된 정보를 요청하고, 받은 사실을 정확한 최종 답에 통합해야 해요.
MIRA-Math는 대수, 확률, 선형 시스템 등 22가지 유형의 수학 문제를 포함하며, 2310개의 인스턴스로 구성돼요.
프론티어 모델과 소형 모델 실험 결과, 정보 요청 성공과 최종 답 정확도가 분리되는 현상이 관찰됐으며, 관련 자료는 공개됐어요.