연구진은 LLVM 컴파일러 문제 해결에 LLM을 활용하기 위한 최초의 대규모 벤치마크인 LLVM-Bench를 공개했어요. LLVM-Bench는 실제 LLVM 프로젝트에서 수집한 423개의 검증된 작업으로 구성돼 있어요.
LLVM-Gym 플랫폼은 문제 재현, 패치 적용, 컴파일러 빌드, 테스트 실행을 자동화하여 LLM의 성능을 평가하고, LLVM-Ens는 다양한 LLM과 에이전트를 결합하여 문제 해결률을 향상시키는 방법을 제시해요.
현재 LLM 기반 문제 해결 기술은 LLVM-Bench에서 패치 무효 및 빌드 실패가 주요 원인으로 나타났으며, LLVM-Ens는 기존 방식보다 최대 21.99% 더 높은 해결률을 달성했어요.