AI가 기업 전체를 하루 만에 구축할 수 있지만, 여전히 자신의 이름을 맞추는 데 어려움을 겪는다는 점이 사용자에게 체감됩니다. 이를 인지한 사용자가 LLM의 눈에 띄는 실패를 측정하는 벤치마크 ObviousBench.com을 개발했습니다.
GPT-5.4 nano 모델의 경우, 추론 기능이 없을 때 정답률이 36.8%였지만 xhigh 추론 기능을 사용할 때 91.7%로 급등했습니다. 이는 성능 경쟁이 아닌 제품 트레이드오프입니다.
GitHub 저장소를 통해 관련 코드를 확인할 수 있습니다.