연구진은 LLM이 복합적인 데이터 정제 레시피를 정확하게 실행하는지 평가하는 CDR-Bench를 공개했어요. CDR-Bench는 4가지 실제 데이터 정제 분야의 3,462개 작업으로 구성되어 있으며, 모델의 실행 능력에 따라 세 가지 환경(원자, 순서 무관, 순서 민감)으로 평가해요.
실험 결과, 현재 LLM은 복합적인 환경에서 성능이 급격히 저하되고, 순서에 민감한 레시피 실행 성공률이 현저히 낮아지는 문제점이 드러났어요. 이는 LLM이 신뢰성 있는 데이터 정제를 위해 필요한 절차적 정확성이 부족하다는 것을 시사해요.
CDR-Bench는 LLM의 데이터 정제 능력 평가를 위한 새로운 벤치마크로, 향후 LLM 연구 및 개발에 기여할 것으로 기대돼요.