연구에서는 LLM 검증 시스템에서 부분 상관 관계가 있을 때 발생하는 현상을 분석했어요. 검증 게이트의 오목 로그-오즈, 다항식 신뢰도, 블라인드 스팟 천장 등의 개념을 제시했어요.
베타 분포를 갖는 잠재 변수를 활용하여 검증 시스템의 정확도를 측정하고, 검증 게이트를 추가하는 것이 항상 도움이 되는지, 아니면 오히려 해가 될 수 있는지 분석했어요.
검증 시스템의 신뢰도를 높이기 위해서는 모델 패밀리, 모달리티, 증거 출처를 변경하여 상관 관계를 줄이는 것이 중요하며, 검증 게이트를 추가하는 것보다 효과적이에요.