연구진이 LLM의 의료 정보 응답의 일관성을 평가하는 이중 언어 벤치마크 'MIRA'를 공개했어요. MIRA는 60개의 의료 질문을 기반으로 4,320개의 프롬프트를 포함하며, 5개의 LLM을 대상으로 평가를 진행했어요.
저건영 수준의 프롬프트에 대한 응답은 핵심 정보 누락, 구체적인 다음 단계 부족, 독립적 판단 지원 부족 등의 문제를 보여줬어요. 이를 '정보 희석 차이(DID)'라고 명명했어요.
Claude와 Qwen 모델에서 지식 기반 완화 프롬프트를 사용했을 때 정보 희석이 감소하는 효과가 나타났어요. Claude는 약 8%, Qwen은 약 6% 감소했어요.