연구진이 LLM 기반 에이전트 시스템의 실패 원인 추적을 위한 OAT 모델을 제안했어요. OAT는 프롬프트 기반 방식보다 200~5000배 빠르며, 성공 트레이저리 데이터만으로 학습해요.
실패 트레이저리에서 각 단계를 분석하여 이상 징후 점수를 매기고, 이를 통해 오류 단계를 식별해요. 기존 방식 대비 F1 점수가 각각 20% 및 7% 향상됐어요.
OAT는 100개의 성공 트레이저리 데이터로 학습하여, 도메인 내외 데이터셋에서 모두 우수한 성능을 보여줘요. 에이전트 시스템 오류 진단을 위한 유망한 방법론으로 평가돼요.