헬스케어 LLM 평가는 배포 성능 예측에 충분하지 않으며, 벤치마크만으로는 사용자의 모델 상호작용 방식에 대한 암묵적 가정을 파악하기 어렵습니다. 연구진은 이러한 가정들을 '과제'와 '결과'로 분류하고, '과제'는 대화 데이터만으로 테스트 가능하지만 '결과'는 결과 데이터와 행동 연구가 필요하다고 제안합니다. 벤치마크는 인간 행동에 의존하는 '결과' 가정을 직접 관찰할 수 없다는 점을 강조합니다.
헬스케어 임상 시험을 사례 연구로 분석한 결과, '과제'와 '결과' 격차가 거의 동일한 크기로 나타났습니다. 이를 해결하기 위해 벤치마크 가정을 문서화하는 'BenchmarkCards'와 가정을 체계적으로 테스트하고 성능을 평가하는 '단계별 평가' 절차를 제안합니다.