연구진은 수화 대화에서의 감정 인식을 위한 새로운 과제(ERC)와 eJSL Dialog 데이터셋을 발표했어요. eJSL Dialog 데이터셋은 480개의 고유한 대화로 구성된 1,920개의 비디오 샘플을 포함하고 있어요. 연구 결과, 일반적인 다중 모드 대화 감정 인식 모델을 수화에 적용할 때 도메인 격차가 발생하는 것을 확인했어요.
기존 수화 감정 데이터셋은 고립된 문장에 집중하여 대화 맥락이 부족하여 실제 시나리오에서 성능이 저하되는 한계가 있었어요. 연구진은 이 문제를 해결하기 위해 ERC 과제를 도입하고 eJSL Dialog 데이터셋을 구축했어요.
연구진은 수화에 특화된 맥락 인식 시각적 추출기의 필요성을 확인하고, 대규모 사전 훈련을 지원하기 위해 대화 데이터셋의 규모를 확장하는 것이 중요하다고 강조했어요.