연구진은 백엔드 데이터베이스 오류 발생 시 LLM 대화 에이전트가 안전하지 않은 응답을 생성하는 문제를 해결하기 위해 프롬프팅 기반 복구 접근 방식을 연구했어요.
DeepSeek-R1, Gemma-2, Llama-3, Mistral, Phi-3, Qwen-2.5 등 6개 모델 패밀리에 Guided-Retry 전략을 적용한 결과, MultiWOZ에서 환각 현상을 50% 감소시켰어요.
MultiWOZ에서 30.5%였던 환각 비율이 15.3%로 줄었지만, 여전히 상당한 환각(6~37%)이 남아있으며, 특히 잘못된 도메인 오류가 가장 어려운 경우로 나타났어요.