연구진은 리듬 게임 차트 생성 평가 프레임워크 ChartGenEval을 소개했어요. 이 프레임워크는 기존 평가 방식의 한계를 극복하고, 차트의 디자인 문제를 정확하게 측정하기 위해 고안됐어요.
ChartGenEval은 공식 노트 시퀀스를 재현하는 대신, 타이밍을 기준으로 다양한 노트 선택을 허용하는 6가지 질문 평가 시스템을 사용하며, 자동화된 오류 테스트를 기반으로 작동해요.
ChartGenEval은 생성된 차트의 품질을 평가하고, 생성기를 비교 및 반복하는 데 필요한 개별적인 피드백 신호를 제공하며, 특정 작업에 대한 스트레스 테스트 후 최적화 대상 또는 제약 조건으로 활용될 수 있어요.