연구진은 LLM의 환각 감지를 위해 질문-답변 직교 분해(QAOD) 프레임워크를 제안했어요. QAOD는 답변 표현에서 질문과 관련된 방향을 제거하여 도메인 변화에 강건한 환각 감지를 가능하게 합니다. 두 가지 probing 전략을 설계하여, in-domain 성능과 cross-domain 일반화 능력을 모두 향상시켰어요.
QAOD의 joint probe는 in-domain AUROC에서 가장 좋은 성능을 보였고, orthogonal-only probe는 BioASQ에서 21%까지 성능을 향상시켰어요. 이는 기존 white-box baseline 대비 25% 미만의 생성 비용으로 달성된 결과입니다.
QAOD는 답변 표현을 질문과 직교시키는 방식으로 작동하며, Fisher scoring과 Fisher importance를 활용하여 정보적인 신호를 선택합니다.