연구진이 스트리밍 음성-음성 모델의 자연스러움을 평가하는 벤치마크 SPEARBench를 발표했어요. Seamless Interaction 코퍼스로 대화 프롬프트를 구성하고, 다양한 모델의 응답을 평가하는 다차원 프로토콜을 사용해요.
응답 지연, 중복, 방언 일관성, 감정적 자연스러움, 대인 관계 태도 등 인간과의 차이를 분석하며, 인간 응답을 기준으로 삼았어요.
현재 모델은 높은 품질과 낮은 ASR 오류를 달성했지만, 지연, 중복, 방언 보존, 감정 적응, 대인 관계 태도 측면에서 인간과 차이가 있음을 확인했어요.