연구팀이 인간-객체 중심 비디오 개인화(HOCVP) 프레임워크 HOMIE를 제안했어요. 기존 방식의 낮은 인간-객체 상호작용 정확도와 잠재적 일치성 이해 부족 문제를 해결합니다.
HOMIE는 MLLM 통합 전략을 개선하여 텍스트 인코더 제어력을 유지하면서 참조 수준 관계 지식을 추출하고, 객체와 인간의 상호작용을 정확하게 표현합니다.
연구 결과, HOMIE는 다양한 HOCVP 작업에서 최고 성능을 달성했으며, 프로젝트 페이지는 GitHub에서 확인할 수 있어요.