에포크 AI가 AI 모델의 장기 소프트웨어 개발 역량을 평가하는 벤치마크 '미러코드'를 공개했어요. 기존 벤치마크는 단기 작업에 집중했지만, 미러코드는 프로그램 전체를 처음부터 다시 구현하도록 요구해요.
미러코드는 인터넷이나 원본 소스코드 없이 AI가 프로그램 전체를 다시 구현하는 방식으로, AI의 실제 소프트웨어 개발 역량을 측정하도록 설계됐어요. 에포크 AI는 AI 안전성 연구기관 METR과 함께 개발했어요.
에포크 AI는 미러코드를 통해 AI가 코드 암기론을 통과하지 못한다는 점을 확인했으며, 이는 AI가 단순히 기존 코드를 암기하는 것이 아니라 문제 해결 능력을 갖춰야 함을 시사해요.