연구진은 Anthropic, Mistral 등 5개 회사에서 출시한 7개 모델을 우크라이나 법원 판결문 273건으로 벤치마크하여 토크나이저 비옥도와 제로샷 성능을 측정했습니다.
NVIDIA Nemotron Super 3 (120B)가 Mistral Large 3 (675B)보다 높은 성능을 보였으며, API 비용은 3분의 1 수준으로 절감되었습니다.
제로샷 프롬프트가 성능을 저하시키는 것으로 나타났으며, 우크라이나어 데모스트레이션의 고유한 특성으로 확인되었습니다.