Pluralis v0.1은 서구 중심의 AI 안전 평가 틀의 한계를 극복하기 위해 개발된 새로운 벤치마크입니다. 6개 아시아·태평양 국가의 8개 언어로 구성되어 있으며, 지역별 법률, 사회·언어적 뉘앙스, 문화적 금기를 고려합니다. 이미지와 텍스트를 결합하여 문화적 부적절성을 평가하는 새로운 방식을 도입했습니다. Judge-Pluralis라는 LLM 기반 평가 도구를 활용해 지역별 특성을 반영한 AI 모델의 실패 사례를 분석했습니다.
기존 벤치마크는 지역별 특성을 고려하지 않아 글로벌 배포 시 AI 모델의 취약점을 숨겼습니다. Pluralis는 이미지와 텍스트의 결합으로 특정 법률이나 문화적 위반을 유발하는 방식으로 안전 문제를 평가합니다. 이는 AI 모델이 문화적 맥락을 제대로 이해하는지 확인하는 데 중요합니다.