연구진이 실시간 음성·시각 스트리밍 환경에서 다중 모달 LLM의 상호작용 성능을 평가하는 벤치마크 'OmniInteract'를 발표했어요. 기존 오프라인 비디오 이해나 텍스트 프롬프트 기반 스트리밍 QA와 달리, 원본 스트림을 그대로 사용하며 미래 콘텐츠에 대한 접근 없이 실시간으로 처리해야 해요.
OmniInteract은 250개의 영상과 1,430개의 시간적으로 정렬된 응답 슬롯으로 구성되며, 1,062개 슬롯은 실시간, 능동적, 중첩 시나리오를 포함하고, 368개 슬롯은 지속적인 작업 모니터링 및 단계별 안내를 위해 사용돼요.
현재 모델은 스트리밍 상호작용에서 취약점을 보이며, 전체 IA-QTF1 점수가 0.368, 1QnA IA-QTF1 점수가 0.052에 불과하며, 오프라인 능력과 온라인 상호작용 간의 연관성이 낮다는 것을 확인했어요.