연구진이 VLM의 시각적 근거 없는 묘사 문제를 해결하기 위해 QK Product Steering 기법을 제안했어요. 이 기법은 이미지에 없는 객체에 대한 환각을 줄이기 위해 선택된 중간 레이어의 가중치를 편집해요. 훈련 데이터나 추가 튜닝 없이도 객체 환각을 평균 **4.0%** 줄일 수 있으며, 일반적인 다중 모드 기능은 크게 유지돼요.
QK Product Steering은 사전 softmax 어텐션 로짓을 생성하는 query-key product를 직접 편집하여 작동해요. 이 과정에서 주요 singular 모드를 억제하고, query 가중치에 대한 closed-form 업데이트를 통해 편집을 적용해요. 그룹화된 query 어텐션과 호환성을 유지하며, symmetric 및 antisymmetric 성분으로 분해하여 패턴을 구별해요.
이 기법은 데이터 수집, 파인튜닝, 추론 오버헤드가 필요 없는 간단한 대안을 제공하며, 이미지에 없는 객체에 대한 환각을 줄이는 데 효과적이에요. 연구 결과는 **3가지** GQA 기반 VLM에서 검증되었으며, 특정 QK 모드에서 환각 신호가 주로 나타나는 것을 확인했어요.