연구진은 LLM 기반 에이전트가 생성한 분석 워크플로우에서 발생하는 운영 실패 사례를 조사했어요. 236개의 분석 의도를 대상으로 한 연구에서, 성공적인 워크플로우 생성 및 실행에도 불구하고 153건의 반복적인 실패가 발견됐어요.
발견된 실패 유형은 비교 기반, 프로세스 추론, 양적 추론, 역할 혼동, 정책 기반 총 5가지로 분류돼요. 이는 분석 의도와 실행 가능한 연산을 연결하는 데 더 풍부한 의미 표현이 필요하다는 점을 보여줘요.
연구 결과는 에이전트 데이터 시스템이 분석적 의도를 실행 가능한 연산으로 변환하는 데 있어 데이터베이스 스키마와 데이터 값으로 명시적으로 표현되지 않는 의미 정보의 중요성을 강조해요.