Google이 AI 기반 마우스 포인터 실험을 공개하며, 사용자가 텍스트 프롬프트 없이 이미지나 텍스트를 가리켜 AI와 상호작용할 수 있도록 하는 새로운 사용자 인터페이스를 제시했습니다.
새로운 시스템은 사용자가 PDF 요약, 표 차트 변환, 레시피 재료량 변경 등 다양한 작업을 수행할 수 있도록 앱 전체에서 AI 기능을 지원합니다.
Google은 Chrome과 Googlebook에서 Magic Pointer를 출시하여 사용자가 마우스 포인터를 통해 Gemini에 질문하고, 이미지 편집 및 공간 내 가구 배치 시각화와 같은 작업을 수행할 수 있도록 할 예정입니다.
Google은 사용자의 흐름을 유지하고, 명확한 지시 없이도 AI가 맥락을 이해하도록 하는 4가지 원칙 (흐름 유지, 보여주고 설명하기, '이것'과 '저것' 활용, 픽셀을 실행 가능한 개체로 변환)을 강조했습니다.