연구진이 모성·소아 의료 AI의 역가설 벤치마크인 MamaBench를 발표했어요. MamaBench는 371가지 병리에 걸쳐 434개의 임상 내러티브를 217쌍으로 구성하고, 모델이 역가설 상황에서 실패하는 비율(BTR)을 평가해요.
기존 벤치마크는 질문을 개별적으로 평가하지만, MamaBench는 임상적으로 유사한 양상을 구별하는 능력을 측정해요. Evidence-Anchored RAG(EA-RAG) 기법을 통해 BTR을 20.3%로 줄이고, 강건성 정확도를 65.0%로 높였어요.
Claude Sonnet 4.6 모델에서 EA-RAG는 기본 정확도를 손상시키지 않고 BTR을 5.5%p 감소시켰지만, 여전히 20%의 BTR이 남아 있어 임상 AI의 역가설 강건성 확보가 과제임을 보여줘요.