연구진은 GPT-5.5, Claude Opus 4.8, Gemini 3.5 Flash, Grok 4.3 모델을 대상으로 증거 기반 프롬프트를 사용했을 때 안전성 향상 효과를 분석했어요. 결과적으로 안전하지 않은 과신 답변이 49.3%에서 24.7%로 감소했지만, 모델별로 효과의 크기가 달랐어요. 특히 GPT-5.5는 유용성 감소가 거의 없었지만, Gemini는 진단 정확도가 크게 떨어지는 문제가 발생했어요.
연구 결과는 LLM 판단 기준이 인간 검토에 기반해야 하며, 유용성과 함께 평가되어야 함을 시사해요. 또한, LLM 판단 기준은 절대적인 정확도를 나타내는 것이 아니라 방향성을 제시하는 지표로 해석해야 해요.
연구는 임상 LLM의 안전성 평가가 모델의 행동 변화를 반영하는지 확인하고, 모델별 유용성 감소 비용을 파악하는 데 기여했어요. 궁극적으로 임상 적용 가능성을 판단하기 위해서는 추가적인 검증이 필요해요.