MHSafeEval은 정신 건강 상담에 활용되는 LLM의 안전성을 평가하는 새로운 프레임워크예요. 기존 평가 방식의 한계를 극복하기 위해, AI 상담사의 역할과 임상적 피해 범주를 결합한 역할 기반 안전 분류 체계를 도입했어요.
상호작용 과정에서 피해가 어떻게 발생하고 누적되는지 파악하기 위해, 역할 기반 모델링을 활용한 다중 턴 상호작용을 통해 안전성 평가를 수행해요.
최신 LLM을 대상으로 대규모 평가를 진행한 결과, 기존 벤치마크로는 놓치는 역할 의존적이고 누적적인 안전성 결함이 상당수 발견되었어요.