Pulse · AI 뉴스

VTaMo: 수화 번역을 위한 비디오-텍스트 정렬 모델

VTaMo · 2026-07-10

연구진이 수화 번역(SLT)을 위한 VTaMo 프레임워크를 공개했어요. VTaMo는 세 단계에 걸쳐 명시적인 다중 수준 정렬을 도입하여 프레임과 토큰 간의 정밀한 대응 관계를 파악해요.

로컬 정렬, 글로벌 정렬, 위치 정렬 대비 학습을 통해 성능을 향상시켰으며, Phoenix-2014T, CSL-Daily, How2Sign, OpenASL 데이터셋에서 최고 성능을 달성했어요.

VTaMo 관련 코드는 GitHub에서 확인할 수 있어요.

##수화번역##SLT##VTaMo##AI
매일 핵심 AI 소식을 한국어로, 빠르게
App Store 에서 Pulse 받기 앱에서 열기