연구진이 영상 LLM의 기술 학습 능력을 평가하는 새로운 벤치마크 SLVMBench를 공개했어요. 이 벤치마크는 2~3시간 분량의 영상에서 튜토리얼 영상을 찾아 기술을 익히고 실시간 질문에 답하는 방식으로 진행돼요. 기존 벤치마크와 달리 장기 영상 기억과 실시간 작업 적용 능력을 동시에 평가해요.
최신 영상 LLM을 대상으로 한 평가 결과, 기술 학습 및 적용에 어려움을 겪는 것으로 나타났어요. 특히 장기 영상 메모리에 기술 지식을 넣을 경우 성능이 현저히 저하되는 문제가 발견돼요.
SLVMBench는 기존 영상 LLM의 한계를 보여주고, 장기 컨텍스트 영상 메모리 기반 실시간 기술 습득 및 적용 연구의 기반을 마련할 것으로 기대돼요.