연구진이 브라질 포르투갈어 텍스트 임베딩 벤치마크인 MTEB-PT를 공개했어요. MTEB-PT는 22개의 브라질 포르투갈어 태스크로 구성되어 있으며, 번역된 데이터는 제외하고 포르투갈어로만 만들어진 데이터를 사용해요.
MTEB-PT는 2300만~270억 파라미터 규모의 93개 모델을 평가했으며, 오픈 소스 모델이 상위 모델들과 경쟁할 수 있음을 보여줬어요.
MTEB-PT는 다국어 벤치마크와 달리 포르투갈어 텍스트 임베딩의 고유한 특성을 측정하며, 태스크, 인스턴스 수준의 분석과 모델 간 차이를 보여주는 통계적 정보를 제공해요.