연구자들이 심층 연구 에이전트의 오류를 분석하여 스팬 단위로 오류 위치를 추적하는 방법을 제시했어요. 2,790개의 실제 경로를 수집하고 LLM을 활용해 오류 스팬을 분석하여 TELBench 벤치마크를 구축했어요. DRIFT라는 새로운 감사 프레임워크를 통해 에이전트 주장을 추적하고 경로 증거와 비교하여 오류 스팬을 식별했어요.
DRIFT 프레임워크는 에이전트 주장을 추적하고 경로 증거와 비교하여 잘못된 경로를 유발하는 오류 스팬을 식별하는 데 사용돼요. 모델 패밀리 및 감사 프레임워크 실험 결과, 스팬 단위 오류 위치 추적 정확도를 최대 30% 향상시켰어요.
이번 연구는 심층 연구 에이전트의 신뢰성 문제를 프로세스 수준에서 파악하고 개선하는 데 기여할 수 있어요.