연구팀이 위험한 운전 상황에 감정적으로 반응하는 비전-언어 파이프라인을 소개했어요. YOLOv8을 활용해 위험 운전 행동을 감지하고, ChatGPT-4o, Claude 3, Gemini 2.5, Copilot 같은 LLM을 활용해 운전자 선호도에 맞춰 감정 반응을 생성해요.
KYA는 갑작스러운 차선 변경과 같은 위험한 운전 기동을 실시간으로 감지하고, 운전자의 감정적 반응을 고려한 언어적 반응을 생성해요. 연구 결과, YOLOv8s와 ChatGPT-4o 조합이 5.00점 만점에 4.29점으로 가장 높은 평가를 받았어요.
108명의 참가자를 대상으로 한 사용자 연구에서, 참가자들은 다양한 감정적 반응 스타일을 선호했으며, 모든 LLM 모델이 긍정적인 평가를 받았어요. 이 시스템은 안전, 신뢰, 정서적 안녕감을 향상시키는 데 기여할 수 있을 것으로 기대돼요.
KYA는 실제 세계의 인지 능력과 감정적으로 적응하는 대화를 결합하여 감성적으로 지능적인 차량 내 인공지능의 새로운 패러다임을 제시해요.