연구진은 수화 검색(SLRet)의 성능 저하 원인이 모델 용량 부족이 아니라, 효과적인 하드 네거티브 지도 학습 부족에서 비롯된다고 밝혔습니다. 시각적으로 유사하지만 의미가 다른 수화가 하드 네거티브로 제대로 활용되지 않는 문제 때문입니다. 이를 해결하기 위해 시각적 혼동성을 기반으로 하드 네거티브를 생성하는 '부호 인식 하드 네거티브 마이닝(SAN)' 기법을 제안했습니다.
PHOENIX-2014T 데이터셋 실험 결과, SAN은 세밀한 검색 성능을 크게 향상시키면서도 전체적인 정확도를 유지했습니다. 이는 수화 검색에서 시각적 모호도에 맞춰 네거티브 지도 학습을 해야 함을 보여줍니다.
연구 결과는 시각적으로 유사한 수화 구분을 위한 효과적인 방법론을 제시하며, 수화 검색 기술 발전에 기여할 것으로 기대됩니다.