연구진은 기존 비디오-언어 모델이 손이나 객체 간의 피상적인 연관성에 의존하는 문제를 해결하기 위해 새로운 학습 패러다임을 제안했어요.
새로운 학습 방법은 손과 객체 마스크 학습과 함께 위치 및 의미를 예측하는 보조 예측을 통해 손과 객체 중심 임베딩을 학습하는 HOI-동적 인식 디코더를 활용해요.
연구진은 CI-HOI 평가 방법을 도입하여 모델이 손과 객체 관련 단서로부터 독립적으로 행동을 예측하는 능력을 평가하고, DEHOI 테스트베드를 구축하여 손과 객체 관련 관찰을 분리하여 HOI를 평가했어요.