연구진이 야외 환경에서 사람들의 제스처와 음성을 연결하는 GRW 데이터셋을 공개했어요. 이 데이터셋은 156,688개의 비디오 클립으로 구성되어 있으며, 150개 단어의 다양한 제스처를 담고 있어요. GRW 데이터셋을 활용해 제스처 분류, 단어 인식, 시간적 위치 추적 모델을 훈련하고 벤치마크를 설정했어요.
기존 모델은 음성과 함께 나오는 제스처를 제대로 인식하지 못하는 한계가 있었어요. GRW 데이터셋은 프레임 단위로 정확하게 제스처와 단어를 연결해 이 문제를 해결하고자 설계됐어요.
GRW 데이터셋을 통해 제스처를 의미하는 것인지 분류하고, 제스처에 대응하는 단어를 인식하고, 제스처의 시간적 위치를 파악하는 모델을 훈련할 수 있어요.