연구진이 LLM 벤치마크 구축의 지속 가능성 및 확장성 문제를 해결하기 위해 Benchmark Agent를 개발했어요. 이 에이전트는 사용자 쿼리 분석부터 데이터 품질 관리까지 벤치마크 구축 전체 파이프라인을 자동화합니다. Benchmark Agent는 다양한 평가 시나리오를 포괄하는 15개의 벤치마크를 생성했으며, 기존 모델이 특정 도메인 추론에 어려움을 겪는다는 점을 발견했어요.
사람 개입 최소화로 고품질 벤치마크 샘플을 생성 가능하며, 지속적인 평가를 통해 모델 성능 개선에 기여할 수 있습니다. 벤치마크는 텍스트 이해, 멀티모달 이해, 도메인 특화 추론 등 다양한 평가 시나리오를 포함합니다. 데모 페이지와 코드 저장소에서 미리보기와 코드를 공개할 예정이에요.
현재 모델은 특정 도메인 추론 작업에서 어려움을 겪는다는 점을 발견했으며, 빠르게 진화하는 벤치마크가 연구 커뮤니티에 크게 기여할 수 있다고 판단해요.