Pulse · AI 뉴스

소셜 로봇의 대화 참여 예측을 위한 다중 모드 음성 활동 투영

arXiv cs.CL · 2026-07-08

연구진이 소셜 로봇의 대화 참여 예측을 위한 MM-VAP 프레임워크를 개발했어요. 음성 및 시각 정보를 동기화하여 기존 음성 기반 VAP 방식을 확장했어요.

사전 훈련된 음성-시각 백본을 활용하고, Low-Rank Adaptation을 통해 대화 참여 예측 문제에 적용했어요.

NoXi 및 NoXi+J 데이터셋에서 기존 방식보다 성능이 향상되었고, Haru EDR 데이터셋에서도 유효성을 확인했어요.

##로봇##AI##음성인식##대화모델
매일 핵심 AI 소식을 한국어로, 빠르게
App Store 에서 Pulse 받기 앱에서 열기