연구진이 인간에게는 쉽지만 AI에게는 어려운 맹점(blind spot)을 파악하기 위한 새로운 벤치마크 'blind-spots-bench'를 공개했어요. 학생들의 질문을 기반으로 235개 샘플로 구성된 데이터셋을 구축하고, 자동 평가 파이프라인을 개발했어요. 분석 결과, 최신 모델들은 기존 벤치마크에서는 비슷한 성능을 보이지만, blind-spots-bench에서는 상당한 성능 차이를 보여 맹점 진단에 유용함을 확인했어요.
closed-source 모델이 open-weight 모델보다 성능이 우수했으며, 모든 모델에게 어려운 과제 유형이 존재한다는 사실을 밝혀냈어요. 이는 기존 벤치마크만으로는 파악하기 어려웠던 AI의 취약점을 드러내는 중요한 결과예요.
blind-spots-bench는 AI 모델의 구체적인 약점을 파악하는 데 유용한 진단 도구로 활용될 수 있으며, 앞으로 AI 모델 개발 방향에 중요한 시사점을 제공할 것으로 기대돼요.