연구진은 차량 내 인공지능 비서의 성능 평가를 위한 새로운 프레임워크 'LoCar'를 제안했어요. 특히 한국어 번역 환경에 초점을 맞춰 모델의 행동 패턴을 분석했죠. 현재 LLM은 미세한 한국어 존칭 제어에 어려움을 겪으며, 명확성 및 적극성 등 전략적 대화 지표에서 낮은 성능을 보인다는 결과가 나왔어요.
LoCar 프레임워크는 평가의 신뢰성을 높이기 위해 보수적인 접근 방식을 채택했어요. 이는 주관적인 복잡성을 가진 대화 지표 평가 시 중요합니다.
연구는 LLM이 실제 차량 환경에 적용될 때, 언어적 세밀함과 안전성을 고려한 상호 작용 관리가 필수적임을 강조합니다.