연구진은 에이전트의 능력을 확장하는 데 중요한 역할을 하는 재사용 가능한 스킬이 텍스트만으로 제한되는 점을 지적했어요.
시각 중심 작업에서 재사용 가능한 지식은 종종 공간 배치, 시각적 기반, 미세한 외관, 국소적인 상태 변화에 의존하기 때문이에요.
연구진은 텍스트 논리와 명시적인 시각적 지원을 결합한 멀티모달 스킬 패러다임인 \NAME을 제안하고, 시각적 스킬이 공간 대응, 시각적 증거, 상태 인식 상호 작용에 필요한 경우 텍스트 스킬보다 우수한 성능을 보였어요.
\SYSTEM은 에이전트 경험을 재사용 가능한 멀티모달 스킬로 변환하는 자동 시스템으로, 텍스트 추론, 공간 참조, 시각적 경계, 상호 작용 패턴을 보존합니다.