연구진은 청각 장애인 및 난청인을 위한 직접적인 수화-수화 대화 모델을 개발하기 위해 분리된 수신호를 활용한 연속적인 수화 대화 데이터를 구축했습니다.
SignaVox-W는 현재까지 가장 큰 규모의 레이블이 지정된 분리된 수화 어휘를 제공하며, SignaVox-U는 이를 기반으로 구축된 연속적인 3D 수화 대화 데이터셋입니다.
SignaVox 모델은 텍스트나 글로스 없이 이전 수화 맥락에서 3D 몸, 손, 얼굴 움직임 응답을 생성하여 시각-공간적 표현을 지원하는 대화형 인터랙션을 가능하게 합니다.