연구진이 생성 AI의 사실성 평가를 위한 새로운 벤치마크 'GAMUT'을 공개했어요. 기존 방식은 정확성만 평가했지만, GAMUT은 답변의 완전성을 측정하는 데 초점을 맞췄어요.
GAMUT은 답변에 필요한 모든 정보를 담고 있는지 평가하기 위해 2단계 메타-루브릭 프레임워크를 사용하며, 구조화된 메타-루브릭은 기계가 점수 매길 수 있는 이진 체크리스트로 자동 변환돼요.
연구 결과, Gemini 3.1 Pro가 58.7%의 최고 점수를 기록했으며, GAMUT은 14개의 최첨단 모델을 차별화하는 강력한 벤치마크로 나타났어요.