연구진은 LLM의 사실 기반 환각 현상 완화를 위해 Resonant Context Anchoring (RCA)라는 새로운 추론 방식 개선 방법을 제안했어요.
RCA는 어텐션 모듈 내 라우팅과 정보 크기를 직교적으로 분리하고, 외부 증거 신호 감쇠를 해결하여 입력 증거의 신호 대 잡음비(SNR)를 높여요.
Llama-3 모델 실험 결과, RCA는 사실 일관성 및 지식 충돌 작업에서 환각 현상을 효과적으로 억제하며, 유창성을 유지하면서 성능을 향상시켰어요.