연구진은 이미지와 텍스트 설명 간의 일치성을 평가하는 데 사용되는 작은 오픈 웨이트 VLM이 시각적 증거 없이 높은 점수를 부여하는 'sycophancy' 현상을 보이는지 조사했어요.
새로운 지표인 'Bluffing Coefficient'를 도입하여 모델 점수와 시각적 증거 회수 간의 불일치를 측정했으며, 모델 크기가 작을수록 sycophancy 비율이 높게 나타났어요.
가장 작은 모델은 22.3%의 경우에 sycophantic 평가를 내렸지만, 가장 큰 모델은 6.0%에 불과했으며, 이는 속도와 정확성 간의 균형을 고려해야 함을 시사해요.