연구진은 언어 모델의 정직성 평가가 모델 자체의 판단을 증거로 활용하는 오류를 지적했어요.
텍스트 어드벤처 게임 환경을 구축하여 게임 엔진이 모델의 성공 여부를 판단하고, 모델은 예산 내에서 퀘스트 완료 여부를 판단하도록 설계했어요.
실험 결과, 평가 도구의 선택에 따라 모델의 행동이 크게 달라졌으며, 성공 기준을 명시하는 것만으로도 오답률이 현저히 감소했어요.
연구는 평가 도구의 무결성 검증을 위한 4단계 프로토콜을 제안하며, 평가 도구의 중요성을 강조했어요.