Google 연구에서 환각 감소를 위한 메타인지 연구는 벤치마크에서 간과되는 차이점을 강조해요. 교정은 단순히 정답을 더 자주 맞추는 것이 아니라, 신뢰도를 정확성으로 일치시키는 것을 의미해요. 완벽하게 교정된 모델도 25%의 오차를 낼 수 있지만, 그렇지 않은 척하지 않아요.
에이전트 시스템에서는 챗봇보다 이 차이점이 더 중요해요. 챗봇이 회피적인 답변을 하는 것은 약간 짜증스러울 뿐이지만, 도구 접근 권한을 가진 에이전트가 잘못된 전제에 대해 확신을 가지고 행동하는 것은 위험해요.
작은 베르덴트 기반 코딩 환경에서 파이프라인을 작업 그래프를 생성하는 계획 단계와 비용이 많이 드는 도구가 호출되기 전에 검증기를 실행하는 방식으로 분할해봤어요. 모델이 추측하더라도 자신의 추론을 신뢰하는 위험이 있어요. Grounding이 도움이 되지만 교정과 동일하지는 않아요.