본 연구는 체화된 지능 벤치마크 구축의 자동화 과정을 5단계 파이프라인으로 분석했어요. 기존 수동 구축 방식에서 자동화, 기초 모델 지원, 에이전트 기반 워크플로우로 전환되는 과정을 살펴봤어요. 자동화는 벤치마크 구축 비용을 줄이는 대신 검증, 감사, 버전 관리, 장기적인 관리에 대한 비용을 증가시키는 경향이 있어요.
벤치마크 구축 비용은 인건비, 데이터 획득, 컴퓨팅, 검증, 유지 보수, 재작업 위험 등 다양한 요소에 따라 달라져요. 자동화는 이러한 비용 구조를 변화시키며, 특히 검증 및 감사 비용을 높이는 것으로 나타났어요.
체화된 평가의 진전은 단순히 벤치마크 규모를 키우는 것뿐만 아니라 진단 가능하고 감사 가능하며 책임감 있게 갱신할 수 있는 구축 파이프라인을 구축하는 데 달려 있어요.