GLM AutoGLM-Phone-9B-Multilingual 모델이 공개되어, 스마트폰 화면을 이해하고 자동화된 작업을 수행하는 모바일 지능형 어시스턴트 프레임워크를 구축할 수 있게 되었어요.
이 시스템은 ADB를 통해 기기를 제어하고, 비전-언어 모델을 사용하여 화면을 이해하며, 지능적인 계획을 통해 액션 시퀀스를 생성하고 실행해요.
사용자는 자연어로 작업을 설명하면 시스템이 의도를 파악하고, 현재 UI를 이해하며, 다음 단계를 계획하고 전체 워크플로우를 실행할 수 있어요.