LLM의 사실적 신뢰성이 향상되었지만, 여전히 환각 현상은 주요 문제로 남아있습니다. 특히 LLM이 복잡한 설정에서 유용하게 사용될 때 환각 현상은 더욱 심각해집니다. 연구진은 모델의 지식 범위를 확장하는 방식으로 사실성을 개선했지만, 알려진 것과 모르는 것을 구분하는 능력은 부족하다고 지적합니다.
환각 현상을 자신감 있는 오류로 정의하고, 불확실성을 표현하는 새로운 접근 방식을 제안했습니다. 이를 '충실한 불확실성'이라고 명명하며, 이는 LLM이 신뢰성과 능력을 모두 갖추기 위한 메타인지 능력의 중요한 요소입니다.
메타인지는 LLM이 자신의 불확실성을 인식하고 이에 따라 행동할 수 있도록 하며, 이는 직접적인 상호 작용에서는 솔직하게 불확실성을 전달하고, 에이전트 시스템에서는 검색 시기와 무엇을 신뢰할지를 결정하는 데 중요한 역할을 합니다.