연구진은 LVLM의 '시각 신호 희석' 문제를 해결하기 위해 'Persistent Visual Memory (PVM)' 모듈을 제안했어요. PVM은 시각 정보를 장기적으로 유지하고 필요할 때 활용하여 시각적 인지력을 높여줘요. Qwen3-VL 모델에 PVM을 적용한 결과, 4B와 8B 모델 모두에서 복잡한 추론 작업의 정확도가 향상됐어요.
PVM은 FFN과 병렬로 작동하며, 시각 임베딩을 직접 제공하여 깊은 생성 과정에서 발생하는 신호 억제를 완화하는 역할을 해요. PVM은 기존 모델에 비해 파라미터 오버헤드가 거의 없으며, 시각 신호 감소를 막고 내부 예측 수렴 속도를 높이는 효과를 보여줘요.
실험 결과, PVM은 다양한 복잡한 추론 작업에서 평균 정확도 향상을 가져왔으며, 시각 정보 유지력과 예측 수렴 속도 개선에 기여하는 것으로 나타났어요.