연구진은 AI 기반 게임 개발의 한계로 프로젝트 레벨 코드 엔지니어링이 부족한 점을 지적하며, 전문 게임 엔진 기반의 데이터셋과 벤치마크인 JamSet과 JamBench를 공개했어요.
Godot 엔진의 텍스트 기반 포맷과 헤드리스 실행 모드를 활용하여 24만 개 이상의 저장소에서 8,133개의 프로젝트를 검증했으며, 이 중 300개는 JamBench로 선정했어요.
9개의 최첨단 모델을 평가한 결과, 프로젝트 규모가 커질수록 런타임 통과율이 80.4%에서 5.7%로 급감했으며, 코드 에이전트는 컴파일률을 개선하지만 런타임 동작 품질에는 영향을 미치지 못했어요.