연구팀이 인도네시아 가치관 '판카실라'에 기반한 LLM 평가 데이터셋 'Pancasila-Dilemmas'를 공개했어요. 이 데이터셋은 종교, 인도주의, 단결, 민주주의, 사회 정의 등 5가지 판카실라 가치를 반영한 1,834개의 질문으로 구성돼요.
50개의 LLM을 평가한 결과, 모든 모델이 인도네시아 가치관을 제대로 반영하지 못하는 것으로 나타났으며, 특히 종교 및 단결 관련 질문에서 어려움을 겪는 것으로 확인됐어요.
연구팀은 이 데이터셋을 통해 LLM이 인도네시아 문화와 가치관에 더 잘 부합하도록 개발될 수 있기를 기대하며, GitHub에서 공개했습니다.