연구진은 LLM 기반 스마트 홈 어시스턴트가 맥락 공유 시 인간처럼 점진적으로 명령을 생략하는 것을 이해하지 못해 정확한 해석에 어려움을 겪는다는 문제점을 지적했어요.
이 문제를 해결하기 위해 다양한 사용자 환경과 선호도를 반영한 시뮬레이션 데이터셋 PEC-Home을 공개하고, GPT-4o를 포함한 여러 LLM의 성능을 실험했어요.
실험 결과 기존 어시스턴트는 생략된 명령만으로는 의도 파악이 어려우며, 대화 기록을 활용해도 완전한 명령만큼의 정확도를 달성하지 못하는 것으로 나타났어요.