연구진이 프랑스 13개 지역의 문화, 언어, 인구, 경제, 환경, 이동성 등 14개 주제를 다루는 다중 선택 벤치마크 CARTE 1을 공개했어요.
CARTE는 기존 벤치마크가 간과했던 국가 내 변동성과 지역별 맥락 구분을 평가하도록 설계되었으며, 언어 변동을 평가하는 CARTE-LV 하위 집합도 포함돼요.
1B~12B 파라미터 규모의 27개 LLM을 평가한 결과, 모델 규모와 지역별 성능 차이가 나타나 사전 훈련 데이터 부족과 국가 내 변동성에 대한 낮은 강건성을 시사해요.