연구진이 실제 데이터 분석 환경을 반영한 LLM 벤치마크 'DataGovBench'를 공개했어요. DataGovBench는 정부 개방 데이터 기반으로, 복합 질문 해결 및 통찰력 발견 능력을 평가합니다. 최신 LLM 모델들의 성능을 테스트한 결과, 실제 데이터 분석 요구 수준에 미치지 못하는 한계가 드러났어요.
벤치마크는 Table QA (복합 질문 해결)와 Table Insight (데이터 분석 통찰력 발견) 두 가지 과제로 구성돼요. DataGovBench를 통해 LLM의 데이터 분석 능력 향상을 위한 연구를 촉진하고자 합니다.
DataGovBench 코드는 GitHub에서 공개됐으며, 기존 벤치마크의 한계를 극복하고 실제 데이터 분석 환경에 더 적합한 LLM 개발에 기여할 것으로 기대돼요.