LiveStarPro는 실시간 스트리밍 영상 이해를 위한 새로운 어시스턴트 모델입니다. 기존 모델의 실시간 반응성 부족과 장기적인 맥락 기억 저하 문제를 해결하는 데 목표를 둡니다.
Streaming Verification Decoding(SVeD)을 통해 응답 시점을 결정하고, Streaming Causal Attention Masks(SCAM)로 영상-언어 정렬을 강화하며, Tree-Structured Hierarchical Memory(TSHM)로 장기적인 기억을 효율적으로 관리합니다.
새로운 벤치마크 OmniStarPro를 통해 실제 온라인 환경에서의 성능을 평가한 결과, 기존 방법 대비 의미 정확도가 28.9% 향상되고 응답 시간 오류는 18.2% 감소했습니다.
모델과 코드는 GitHub에서 공개되었으며, 실시간 스트리밍 영상 이해 분야 발전에 기여할 것으로 기대됩니다.