객관적인 임상 능력 평가를 위한 OSCE는 평가자 주관성, 피로, 인지적 편향에 취약합니다. 기존 검증 방식은 오류 원인을 분석하지 못해 개선점을 제시하지 못했습니다. 연구진은 VR 아동 OSCE에서 평가자 주장을 검증하는 다중 모드 프레임워크인 품질 보증 시스템(QAA)을 개발했습니다.
QAA는 비디오, VR 로그, 배우 데이터를 기반으로 실제 사건 순서와 평가자 주장을 비교하여 오류를 감지합니다. QAA는 시간적 동작 정렬 모델과 대규모 언어 모델을 결합하여 평가자 주장을 추출하고 검증합니다.
QAA는 평가자 오류를 70.0%의 정밀도와 76.7%의 재현율로 감지하며, 사실 정확도를 39.2%에서 79.2%로 향상시켜 공정한 OSCE 평가를 가능하게 합니다.