최신 AI 어시스턴트는 사용자의 목표를 명확히 표현한다고 가정하지만, 실제 사용자는 목표가 완전히 형성되기 전에 AI 시스템과 상호작용하는 경우가 많아요.
연구진은 이러한 미완성된 목표 상태에서 AI가 사용자의 의도와 일치하지 않는 '환상적 상호작용(Fantasia interactions)'을 야기한다고 지적했어요.
AI 정렬 연구는 사용자를 합리적인 존재로 보는 대신, 사용자의 의도를 형성하고 개선하도록 인지적 지원을 제공하는 방향으로 전환해야 한다고 주장해요.