EMPATH는 감정 지원 챗봇의 안전성 평가를 위한 새로운 벤치마크입니다. 140개의 시드 지침과 34개의 페르소나를 기반으로 14개 언어의 다중 턴 대화를 생성하는 감사 모델을 사용합니다. 19가지 지표를 기준으로 모델의 안전성, 치료 품질, 대화의 일관성 등을 평가합니다.
멕시코 스페인어와 미국 영어를 지원하며, 현재 멕시코 스페인어로 연구가 진행 중입니다. 벤치마크는 모델 간의 점수 인플레이션을 방지하기 위해 엄격한 기준을 적용하여 19가지 지표 중 10가지에서 점수 인플레이션이 발생했음을 확인했습니다.
DeepSeek-v4-Pro 모델은 온도 0에서도 매번 다른 대화를 생성하는 등, 모델별 실행 안정성이 안전성 속성으로 작용할 수 있음을 보여줍니다. EMPATH는 시스템에 구애받지 않으며, 파이프라인, 시드, 페르소나, 기준을 재사용할 수 있도록 공개되었습니다.