UI2App은 실행 가능한 웹 앱 생성을 위한 시각적 상호작용 추론 벤치마크입니다. 기존 텍스트 기반 방식의 한계를 극복하고, UI 스크린샷을 입력으로 활용하는 방식에 초점을 맞췄습니다.
UI2App은 실행 가능성, 탐색 가능성, 시각적 충실도, 상호작용 추론의 4가지 측면에서 평가하며, 상호작용 추론(IIS) 지표는 기능적 정확성과 상태 관리 복잡성을 평가합니다.
6개의 최신 모델 실험 결과, 시각적 재구현 능력과 상호작용 구현 능력 간에 큰 격차가 있으며, 특히 복잡한 상호작용 추론이 여전히 주요 과제로 남아있습니다.