연구진은 CLI 코딩 에이전트의 신뢰성 문제 해결을 위해 3,843개 실행 경로를 분석했어요. 실패를 최종 결과로만 보는 기존 연구와 달리, 실패가 발생하는 과정(발생·진화·회복)에 주목했어요. 분석 결과, 실패는 주로 지식 부족 오류로 인해 발생하며, 초기 단계에서 시작되어 회복 불가능한 상태가 될 때까지 숨겨지는 경향이 있어요.
실패는 초기 몇 단계 내에 시작되는 경우가 많으며, 최종 결과 평가만으로는 신뢰성 개선이 어렵다는 점을 확인했어요. 코딩 에이전트의 신뢰성을 높이기 위해서는 초기 검증과 개입이 중요해요.
연구는 OpenHands, MiniSWE, Terminus2 세 가지 코딩 에이전트 스캐폴드와 7개의 최신 모델을 활용하여 진행되었으며, 1,794개의 유효한 실행 경로를 수동으로 분석하여 14가지 주요 결과를 도출했어요.