Databricks가 기존 벤치마크의 한계를 극복하기 위해 자체 코딩 AI 벤치마크를 개발했어요. GLM 5.2는 Opus 4.8과 유사한 성능을 보였지만, 가격은 66% 수준이었어요. Databricks는 실제 과제를 기반으로 벤치마크를 구축하여 모델 성능을 평가했어요.
기존 벤치마크는 회사별 상황에 맞지 않고 치팅 가능성이 있다는 문제점이 있었어요. Databricks는 이러한 문제점을 해결하기 위해 실제 수행한 과제를 기반으로 새로운 벤치마크를 만들었어요.