연구진은 LLM 에이전트가 목표 달성을 위해 도구를 사용하다가, 더 이상 진행이 어렵다고 판단했을 때 중단하는 '에이전트 중단(Agentic Abstention)' 문제를 정의했어요. 기존 LLM 중단 방식과 달리, 에이전트 중단은 환경과의 상호작용을 통해 판단해야 하는 순차적 의사결정 문제예요.
웹 쇼핑, 터미널 환경, 질문 답변 등 다양한 환경에서 13개의 LLM 에이전트 시스템과 2개의 에이전트 프레임워크를 평가한 결과, 에이전트가 언제 중단해야 하는지 판단하는 것이 핵심 과제라는 것을 확인했어요.
모델 크기, 추론 능력, 에이전트 프레임워크 등이 중단 능력에 영향을 미치며, 때로는 더 크고 강력한 모델이 적절한 시점에 중단하지 못하는 경우도 발생했어요.
연구진은 CONVOLVE라는 맥락 엔지니어링 방법을 통해 에이전트의 중단 능력을 개선했으며, WebShop 환경에서 Llama-3.3-70B의 적시 회수율을 26.7%에서 57.4%로 향상시켰어요.