연구팀은 기존 LLM 평가 지표(ROUGE, BERTScore)가 의미론적 유사성을 제대로 반영하지 못한다는 문제점을 지적했어요.
MATCHA는 참조 텍스트와의 의미론적 일치도를 높이고, 모순되는 내용은 페널티를 부여하는 새로운 자동 평가 지표예요.
8개의 공개 벤치마크에서 MATCHA는 기존 지표보다 우수한 성능을 보였으며, 특히 TruthfulQA 데이터셋에서 ROUGE-L 대비 18.38%, BERTScore 대비 20.82% 성능 향상을 기록했어요.
연구팀은 MATCHA의 코드와 지표를 공개하며, 기존 평가 지표의 한계를 밝히고 새로운 가능성을 제시했어요.