연구진이 전문적인 미디어 편집 워크플로우를 평가하는 CutVerse 벤치마크를 발표했어요. Premiere Pro, Photoshop 등 7개 앱에서 186개의 복잡한 작업을 큐레이션했어요. 기존 GUI 에이전트는 실제 미디어 편집 작업에서 36%의 성공률에 그쳤어요.
CutVerse는 화면 녹화와 상호작용 로그를 구조화된 GUI 액션 트래jectory로 변환하는 파서를 개발했어요. 이를 통해 에이전트의 성능을 체계적으로 평가할 수 있어요. 현재 모델은 공간적 정렬, 다중 모드 정렬, 조정된 액션 실행에 강점을 보이지만 장기적인 신뢰성과 도메인 특화 계획에 한계가 있어요.
연구 결과, 복잡한 미디어 편집 워크플로우에서 GUI 에이전트의 성능 향상이 필요하다는 점을 시사하며, 향후 연구 방향을 제시했어요.