연구진은 LLM의 조기 결론 현상, 즉 충분한 정보 없이 결론을 내리는 문제를 정의하고 평가했어요. MedQA와 AfriMed-QA에서 정답이 제거된 질문에 대해 LLM이 여전히 잘못된 답을 선택하는 비율이 53~82%에 달했어요. HealthBench 질문에서 부적절한 답변 비율은 30%, 의사들이 만든 질문에서는 78%로 높게 나타났어요.
안전 지향적 프롬프팅이 조기 결론 현상을 줄였지만, 여전히 실패 사례가 남아 있어 LLM이 답변하지 않아야 할 때를 인지하는지 평가해야 한다고 강조했어요.