LLM이 인간 전문가 수준의 지식 경제 업무를 수행한다는 주장이 제기되고 있어요. 이는 표준화된 데이터셋을 활용한 벤치마킹 결과에 기반한 것이 일반적이에요. 하지만 고위험 상황에서는 LLM 성능의 신뢰성과 오류 규모를 평가하는 것이 중요해요.
연구진은 데이터 분석 작업을 위한 코딩을 요구하는 새로운 LLM 벤치마킹 작업을 통해 인간 전문가와 LLM의 성능을 비교했어요. 그 결과 인간 전문가가 다양한 지표에서 더 나은 평균 성능을 보였고, 성능 변동성이 적다는 것을 확인했어요.
이번 연구는 LLM이 일관되게 인간 전문가 수준의 성능을 발휘하지 않으며, LLM 벤치마크 평가 시 변동성과 오류 규모를 측정하는 것이 중요하다는 증거를 제시합니다.