연구진은 협업 대화 중 인지 부하, 대화 주도권 등 회화 상태를 측정하기 위한 멀티모달 평가 프레임워크를 제시했어요. 예측 정확도, 과제 간 일반화, 테스트-재검사 신뢰성 3가지 차원에서 상호작용, 음향, 언어적 특징을 평가했답니다.
언어적 특징은 인지 부하 예측 정확도가 높지만 과제 간 일반화는 어려워 과제별 어휘에 민감한 것으로 나타났어요. 또한, 화자 식별을 통제하면 음향 신뢰성이 떨어져 표준적인 음성 특징이 회화 상태를 측정한다는 기존 관점을 뒤집었답니다.
상호작용 특징은 화자 정규화 후에도 변하지 않아 진정으로 신뢰할 수 있는 신호로 확인되었고, 대화 주도권 분류는 모든 조건에서 우연의 수준에 머물러 과제 수준 행동 집계의 한계를 보여줬어요.