연구진은 경량 GUI 에이전트의 신뢰성을 높이기 위해 UI-KOBE 프레임워크를 제안했어요. UI-KOBE는 앱 지식 그래프를 활용해 앱 상태와 액션 간의 관계를 학습하고, 이를 실시간 의사 결정에 활용합니다. 이 방식은 경량 모델이 GUI 작업을 더 효과적으로 수행하도록 돕고, 온디바이스 GUI 에이전트의 효율성, 해석 가능성, 개인 정보 보호를 향상시킵니다.
UI-KOBE는 앱 탐색을 통해 앱 지식 그래프를 구축하며, 노드는 UI 상태, 에지는 실행 가능한 전환을 나타냅니다. 실시간으로 GUI 에이전트는 그래프를 외부 가이드로 활용하여 현재 상태와 사용자 작업을 기반으로 액션을 선택합니다.
UI-KOBE는 경량 GUI 에이전트의 부담을 줄이고, 온디바이스 GUI 작업의 효율성을 높여 실용적인 발전을 이끌 것으로 기대됩니다.