OpenAI가 SWE-Bench Pro 코딩 벤치마크의 문제점을 분석했어요. AI 모델 평가의 신뢰성과 정확성에 대한 우려가 제기됐어요. 평가 결과, 기존 방식으로는 모델 성능을 제대로 측정하기 어려울 수 있다고 밝혔어요.
SWE-Bench Pro는 AI 모델의 코딩 능력을 평가하는 데 널리 사용되는 벤치마크였어요. OpenAI 분석에 따르면, 일부 모델이 단순히 문제 해결 과정을 암기하는 방식으로 높은 점수를 얻을 수 있다고 해요.
OpenAI는 SWE-Bench Pro의 한계를 극복하기 위해 새로운 평가 방법을 개발할 계획이라고 밝혔어요.