연구진은 AI 기반 게임 개발의 한계로 프로젝트 수준의 게임 엔진 코드 엔지니어링에 대한 데이터셋과 평가 방법이 부족한 문제를 해결하기 위해 JAMER 프로젝트를 발표했어요.
Godot 엔진 기반으로 8,133개의 프로젝트를 검증하여 만든 JamSet과 300개의 프로젝트로 구성된 JamBench 데이터셋을 공개했는데, JamBench는 코드 생성 및 완성 작업을 평가하기 위한 벤치마크로 활용돼요.
9개의 최첨단 모델 평가 결과, 프로젝트 규모가 커질수록 런타임 통과율이 급격히 떨어지는 현상이 나타났으며, 코드 에이전트는 컴파일률을 개선하지만 런타임 동작 품질에는 영향을 미치지 못했어요.