연구진이 AI 기반 교육 콘텐츠의 위험을 평가하는 LLM 감사 모델 훈련 및 평가를 위한 새로운 데이터셋 AIriskEval-edu-db2를 공개했어요. 이 데이터셋은 과학, 언어, 사회과학 분야의 170개 ScienceQA 질문에 대한 1,639개 설명을 포함하고 있어요.
연구진은 사실 정확성, 적절성, 편향성 등 5가지 차원을 평가하는 위험 평가 기준을 제시하고, 785개 설명에 대해 위험 위치 및 설명 어노테이션을 추가했어요.
실험 결과, AIriskEval-edu-db2로 지도 학습한 Llama 3.1 8B 모델이 더 강력한 모델에 근접하거나 능가하는 성능을 보였으며, 교육 감사 및 평가 작업에서 개인 정보 보호를 유지할 수 있었어요.