연구진은 대규모 시각-언어 모델(LVLM)의 환각 완화에 사용되는 검증 프롬프트가 입력 난이도에 따라 효과가 달라지는 '위험 감수적' 개입임을 밝혀냈습니다.
검증 프롬프트는 어려운 입력에 대해서는 도움이 되지만, 쉬운 입력에 대해서는 오히려 성능을 저하시키거나 이득이 없을 수 있으며, 이는 모델의 출력 변화와 관련이 있습니다.
연구진은 사전 생성 불확실성 신호를 활용하여 검증 프롬프트를 선택적으로 사용하는 '위험 인식적 선택적 프롬프트(RSP)' 기법을 제안하여, 기존 방식의 성능 저하를 완화하고 모델 아키텍처에 따른 효과적인 선택 신호의 차이를 확인했습니다.