연구진이 다중 모드 대규모 언어 모델(MLLM)의 불확실성 추정을 위한 새로운 방법인 CoMet을 제안했어요. CoMet은 불확실성을 맥락별 용어와 다양성별 용어로 분해하여 추정해요. 기존 방법 대비 효율성을 높이면서 다양한 벤치마크에서 불확실성 추정 성능을 개선했어요.
CoMet은 주어진 맥락에 따른 모호성을 포착하는 맥락별 용어와, 주어진 입력과 호환되는 가능한 답변의 수를 포착하는 다양성별 용어를 활용해요. 가벼운 후처리 불확실성 모듈을 학습하여 효율적인 불확실성 추정이 가능하도록 설계됐어요.
연구진은 CoMet의 코드를 GitHub에서 공개했어요 (https://github.com/princetonvisualai/comet_uncertainty).