연구진은 대규모 다국어 병렬 데이터의 비병렬 문장 쌍과 저품질 번역 문제를 해결하기 위해 모델 기반 평가를 두 가지 독립적인 요소로 분해했어요.
병렬성 평가는 다국어 임베딩을 사용하고, 품질 추정(QE)은 참조 없이 진행하며, FLORES-200 데이터셋에서 6,654개 언어 쌍과 41,412개 순서대로 된 문장 쌍을 대상으로 성능을 검증했어요.
결과는 모든 모델이 번역 방향에 따라 신뢰성이 달라지고, 단순한 QE 앙상블은 성능을 저해하며, 문서화된 대상 언어 커버리지가 높을수록 QE 점수가 높다는 것을 보여줬어요.