연구진은 훈련 데이터 없이 야생 환경에서 인간-객체 상호작용(HOI) 감지를 수행하는 AgentHOI 프레임워크를 공개했어요.
AgentHOI는 기존 방식과 달리, 사전 훈련된 모델의 지식을 활용하는 대신 멀티모달 추론 능력을 활용하여 복잡한 장면에서 상호작용을 이해하고 위치를 파악해요.
AgentHOI는 Context-aware Multi-round Reasoning과 Multifaceted Interaction Localization이라는 핵심 메커니즘을 통해 기존 방식보다 뛰어난 성능을 보여줬어요.