Pulse · AI 뉴스

LLM 평가, 제품 아닌 홍보에 좌우된다: 사용자 평가는 성능보다 기대치 반영

arXiv cs.CL · 2026-07-06

연구에 따르면 사용자가 동일한 LLM을 사용하더라도 모델에 대한 사전 정보에 따라 평가가 크게 달라집니다.

모델 능력에 대한 과장/축소된 정보는 사용자의 프롬프트 방식에 영향을 미치지만, 실제 작업 성능에는 차이가 없습니다.

사용자 평가는 모델의 실제 능력보다 기대치 충족 여부와 사용자의 자신감 수준에 더 큰 영향을 받습니다.

##LLM##사용자평가##기대치##프롬프트
매일 핵심 AI 소식을 한국어로, 빠르게
App Store 에서 Pulse 받기 앱에서 열기