AI 연구자들은 AI 성능 평가가 점점 더 어려워지고 있다고 해요. 기존 벤치마크를 빠르게 만족시키고, 평가 과정도 시간이 오래 걸리는 문제가 발생하고 있어요. 모델이 며칠 또는 몇 주 동안 작업할 수 있게 되면서, 평가 시간도 그만큼 길어질 수 있다고 해요.
OpenAI 연구원은 모델이 '몇 주 또는 무한정' 작업할 수 있는 지점에 근접했다고 언급했어요. 이는 모델 개발 속도를 늦출 수 있는 문제로, 모델 훈련 시간보다 평가 시간이 더 길어질 수 있다는 점을 시사해요.
AI 모델 평가의 어려움은 모델 개발 속도를 늦출 수 있으며, 더욱 정교한 평가 방법론 개발이 필요함을 보여줘요.