이 연구는 비전-언어 모델(VLM)이 의사 결정 시스템에 통합되면서 시각적 입력이 모델의 행동에 미치는 영향을 조사해요.
협력적인 행동을 테스트하기 위해 반복적인 죄수의 딜레마(IPD) 시나리오를 사용하고, 친절/도움 vs 공격적/이기적인 행동을 묘사하는 이미지와 색상으로 코딩된 보상 행렬이 VLM의 의사 결정 패턴에 미치는 영향을 분석했어요.
다양한 모델에서 프롬프트 수정, Chain of Thought(CoT) 추론, 시각적 토큰 감소 등 완화 전략을 탐색한 결과, VLM의 행동은 이미지 내용과 색상 신호에 의해 영향을 받을 수 있으며, 모델마다 취약성과 완화 효과가 다르다는 것을 확인했어요.