Pulse · AI 뉴스

AVSCap: 시청각 연계를 통한 다중 모드 동영상 캡셔닝 프레임워크

AVSCap · 2026-07-14

AVSCap은 시각적 행동, 음성, 음악, 음향 효과 간의 연관성을 파악하는 동영상 캡셔닝 프레임워크입니다. AVSCap-130K 데이터셋을 구축하고 AVSCap-7B 모델을 훈련하여 음향 완전성 및 시청각 연계 최적화했습니다. AVSCap-7B는 기존 오픈소스 모델 대비 시청각 연관성 및 음향 커버리지에서 우수한 성능을 보였습니다.

##동영상캡셔닝##멀티모달##AVSCap##오디오##시각
매일 핵심 AI 소식을 한국어로, 빠르게
App Store 에서 Pulse 받기 앱에서 열기