연구진이 LLM 에이전트의 원인 분석 능력을 평가할 수 있도록 단계별 인과 관계 주석을 제공하는 새로운 벤치마크 OpenRCA 2.0을 공개했어요. 기존 벤치마크는 원인만 표시했지만, OpenRCA 2.0은 문제 발생부터 원인까지의 인과 경로를 재구성하는 방식으로 평가해요.
11개의 최첨단 LLM을 테스트한 결과, 정확한 원인 집합을 찾는 데 성공하는 비율은 평균 20.7%에 불과했어요. 이는 기존 평가 방식이 LLM의 실패 지점을 제대로 파악하지 못하고 있음을 보여줘요.
연구 결과, LLM 에이전트는 원인 서비스 자체는 비교적 잘 식별하지만, 관찰된 증상까지의 검증된 인과 경로로 연결하는 데 어려움을 겪는다는 것을 알 수 있었어요.