연구진이 러시아어 기반 코드 에이전트 벤치마크 RuBench 1.0을 공개했어요. 이는 실제 고객 요청 스타일의 러시아어 작업 지시를 사용하며, 기존 벤치마크와 차별점을 가졌어요.
aiohttp, aiogram, Laravel, NestJS, Fastify 등 5개 오픈소스 저장소의 실제 수정 커밋에서 추출한 25개의 작업으로 구성돼요. 각 작업은 업스트림 유지 관리자의 회귀 테스트로 평가돼요.
Claude Code (Opus 4.8, Sonnet 5, Haiku 4.5)와 Codex CLI (GPT-5.5)를 평가한 결과, 최적 구성은 78.7%의 작업 해결률을 보여줬어요.
실제 제품 구성에서 모델이 자동으로 변경되는 현상이 발견됐으며, 이는 제품 자체가 측정 대상임을 시사해요.