연구진은 어노테이션 없이 MLLM의 논리적 일관성을 평가하는 새로운 프레임워크인 VL-LCM을 제안했습니다. VL-LCM은 원인과 결과 관계를 분석하여 모델의 성능을 측정합니다. 실험 결과, 정확도 향상에도 불구하고 MLLM의 논리적 일관성은 여전히 부족한 것으로 나타났습니다.
VL-LCM은 기존의 정확도 평가 방식의 한계를 극복하고, 새로운 작업에서 모델 검증 및 답변 정당화에 활용될 수 있습니다. MLLM의 선택, 검증, 그리고 신뢰성 있는 답변을 위한 중요한 지표가 될 수 있습니다.
연구진은 VL-LCM의 신뢰성과 적용 가능성을 검증했으며, 정확도와 신뢰성 모두를 고려한 MLLM 평가의 필요성을 강조했습니다.