연구진이 시각 정보를 활용해 도구를 사용하는 에이전트 평가 프레임워크 MM-ToolSandBox를 공개했어요. 이 프레임워크는 500개 이상의 도구와 16개 분야를 지원하며, 이미지와 턴이 여러 번 이어지는 복잡한 작업을 처리할 수 있어요. 최첨단 모델 12개를 평가한 결과, 시각적 정확도가 아닌 계획 능력 부족이 주요 원인으로 밝혀졌으며, 53%의 실패가 이미지 정보 추출 오류에서 비롯됐어요.