연구진이 복합적 일반화 능력을 평가하는 ClassicLogic 벤치마크를 공개했어요. ClassicLogic은 수도쿠, 켄켄, 카쿠로, 후토시키 4가지 고전 퍼즐 게임으로 구성돼요. 각 게임은 단순 전략의 조합으로 정의된 계층적 지식 기반을 활용해, AI 에이전트의 추론 능력을 정밀하게 평가할 수 있어요.
기존 벤치마크는 주로 언어 작업에 집중하고 복잡한 구조를 부족했지만, ClassicLogic은 수학적으로 검증된 난이도의 퍼즐을 통해 AI의 문제 해결 전략을 평가해요. 오픈소스 벤치마크로 제공되며, 신경-기호 및 고급 AI 추론 시스템 발전에 기여할 것으로 기대돼요.