연구진은 RAG 시스템에서 외부 문맥 정보가 오히려 모델의 초기 예측을 틀리게 만드는 '재오염(recorruption)' 현상을 발견했습니다. 이 현상은 모델이 시각 정보를 무시하고 위치 정보에만 의존하는 '시각적 맹점'과 '구조적 위치 편향' 때문에 발생합니다.
연구 결과, 많은 RAG 결과가 모델의 텍스트 복사 편향에 의한 우연일 뿐이며, 실제로는 다중 모드 정보를 제대로 활용하지 못하는 것으로 나타났습니다.
연구진은 BAIR(Bottleneck Attention Intervention for Recovery)라는 새로운 프레임워크를 제안하여 시각적 중요도를 회복하고 위치 편향을 줄여 의료, 사회 공정성, 지리 정보 분야에서 모델의 정확도를 향상시켰습니다.