연구진이 비디오 LLM의 실시간 오류 수정 능력을 평가하는 새로운 벤치마크 'Ego-MC-Bench'를 공개했어요. 이 벤치마크는 실제 요리 시나리오에서 단계별로 오류를 수정하는 능력을 평가합니다.
최신 비디오 LLM도 Ego-MC-Bench를 통과하기 어려운데, 이는 적절한 훈련 데이터 부족 때문이에요. 기존 요리 영상 데이터셋에는 오류 수정 예시가 부족합니다.
연구진은 합성 데이터셋 'Ego-CoMist'를 제작하여 모델 훈련에 활용했고, 이를 통해 소형 모델의 성능 향상을 이끌어냈어요. 특히 엣지 디바이스에서 활용하기 적합한 모델에 효과적입니다.