연구진은 LLM 에이전트 오류 진단을 자동화하는 Insights Generator(IG)를 개발했어요. IG는 실행 추적 데이터를 분석하여 자연어 기반의 진단 보고서를 생성하고, 체계적인 행동 패턴을 파악합니다. IG를 활용한 결과, 인간 전문가의 성능이 30.4% 향상되었고, 코딩 에이전트도 안정적인 성능 향상을 보였어요.
IG는 scout-investigator 아키텍처를 통해 기존 방식과 유사한 수준의 오류 탐지율을 보이지만, 보고서의 깊이와 증거 품질은 더 높게 평가받았어요. IG는 수천 토큰에 달하는 추적 데이터를 분석하여 패턴을 발견하고, 사용자가 놓치기 쉬운 오류를 진단하는 데 도움을 줍니다.
IG는 기존의 수동적인 오류 진단 방식의 한계를 극복하고, 대규모 추적 데이터에서도 효율적인 패턴 분석을 가능하게 하여 LLM 에이전트 개발 및 개선에 기여할 것으로 기대됩니다.