연구자가 실제 CVE(Common Vulnerabilities and Exposures)를 활용한 테스트 환경 'CVE-Bench'를 구축하여 LLM 에이전트의 보안 패치 능력을 평가했어요.
테스트 결과, LLM 에이전트는 50%의 성공률을 기록했으며, 특히 취약점 설명 없이 파일 및 함수 정보만 제공할 경우 패치 성공률이 급격히 떨어졌어요.
OpenAI 모델은 Laguna 모델보다 성능이 우수했지만, 모든 모델이 취약한 코드를 정확히 식별하지 못하는 한계점을 드러냈으며, 더 많은 토큰을 소모하는 경향을 보였어요.