연구진은 MLLM이 가리키는 제스처를 정확하게 이해하지 못하고 시각적 근접성이나 객체의 눈에 띄는 특징에 의존하는 '참조 환각' 현상을 발견했어요.
에고포인트 벤치마크(EgoPoint-Bench)는 에고센트릭 시점에서 가리키는 제스처에 대한 추론 능력을 평가하고 향상시키기 위해 제작되었으며, 11,000개 이상의 샘플로 구성되어 있어요.
합성 데이터로 튜닝된 모델은 성능 향상과 실제 환경에서의 일반화 능력을 보여주며, 공간 인지적인 지도 학습의 중요성을 강조하고 에고센트릭 AI 비서 개발에 기여할 수 있을 것으로 기대돼요.