연구진이 다국어 환경에서 LLM 에이전트의 성능을 평가하는 PolyWorkBench 벤치마크를 발표했어요.
PolyWorkBench는 상거래, 법률 분석, 현지화 등 5개 분야 67개의 작업으로 구성되어 있으며, 에이전트는 다양한 다국어 입력을 처리하고 외부 도구를 사용해야 해요.
실험 결과, 최신 LLM 에이전트는 다국어 작업에서 단일 언어 환경보다 성능이 크게 저하되며, 언어 변화와 절차적 의사 결정을 함께 모델링하는 것이 중요함을 보여줬어요.