연구진은 LLM의 환각 문제를 해결하기 위해 사후 샘플링 기반의 새로운 방법론을 제안했어요. 기존 방식은 샘플링 후 환각 주장을 제거하는 방식이었지만, 이 방법은 일관성 없는 결과로 이어질 수 있었어요. 새로운 방법은 LLM의 사후 분포를 근사하여, 보정된 고득점 영역에서 샘플링하여 환각을 줄이고 유용성을 높여요.
컨포멀 예측 기반의 통계적 기법을 활용하여 LLM의 환각 문제를 해결하는 기존 방식은 사후적으로 샘플을 수정하는 방식이었어요. 이 방식은 샘플의 일관성 문제를 야기하고, 유용한 답변으로의 확률 질량 이동을 어렵게 만들 수 있었어요. 연구진은 이를 개선하기 위해 LLM의 사후 분포를 근사하여 샘플링하는 방법을 제안했어요.
새로운 방법은 개방형 전기 생애 기록 생성 및 수학 문제 해결 사례 연구에 적용되었으며, 기존 방식과 동일한 통계적 보장을 달성하면서도 더 높은 하위 유용성을 보여줬어요.