Demo2Tutorial은 화면 녹화 및 상호작용 로그를 활용해 사용자의 디지털 환경 경험을 구조화된 멀티모달 소프트웨어 튜토리얼로 변환하는 프레임워크입니다.
먼저 사용자의 경험을 녹화하고, 멀티모달 액션 파서를 통해 인식, 행동, 의도를 재구성한 뒤, 단계 플래너가 이를 계층적 작업 그래프로 추상화합니다.
마지막으로 튜토리얼 컴포저가 파싱된 경험을 이미지와 텍스트로 구성된 구조화된 지침으로 변환하며, 공식 소프트웨어 문서에서 파생된 새로운 벤치마크에서 품질을 평가합니다.
실험 결과, Demo2Tutorial은 인간이 작성한 튜토리얼보다 우수하고, 인간 학습 속도를 높이고 GUI 에이전트 계획 및 일반화 능력을 향상시키는 등 효과적인 지식 표현으로 기능하는 것을 입증했습니다.