연구진이 음성 LLM의 맥락 활용 능력을 평가하는 벤치마크 'IndicContextEval'을 공개했어요. 이 벤치마크는 8개 인도어, 23개 전문 분야의 555명의 연설 데이터를 사용해요. 맥락 신호 도입 수준을 점진적으로 높이는 7단계 프롬프트 프레임워크를 설계했어요.
5개 모델을 평가한 결과, 맥락 활용 행동에 상당한 차이가 있는 것으로 나타났어요. 이는 음성 LLM의 맥락적 기반에 대한 명시적 평가 필요성을 보여줘요.
IndicContextEval은 음성 LLM이 텍스트 프롬프트(도메인 설명, 엔티티 목록 등)를 얼마나 활용하는지 평가하는 데 중점을 둡니다.