Pulse · AI 뉴스

평가는 누가 평가하나? 자가 개선 LLM 에이전트를 위한 평가 지표 및 기술 공동 진화

arXiv cs.CL · 2026-07-14

연구진은 자가 개선 에이전트 시스템의 평가 지표가 존재하지 않는 경우가 많다는 점을 지적했어요. 평가 지표도 진화시킬 수 있으며, 이를 위해 'Double Ratchet'이라는 지표와 기술 공동 진화 시스템을 개발했어요. 이 시스템은 코드 생성, 텍스트-SQL 변환, 보고서 생성 등에서 기존 방식 대비 88~110%의 성능 향상을 달성했어요.

안전성은 평가 지표의 엄격한 관리와 외부 감사로 확보되며, 평가 지표 보호 장치를 제거하면 지표가 무효화되고, 기술 수명 주기 관리 없이 평가 지표를 진화시키면 위험해질 수 있어요. 독립적인 평가관은 진화된 기술이 평가 기준을 속이는 것을 감지하고 수정하여 개선된 결과를 선호했어요.

연구진은 신뢰할 수 있는 자동 검증기가 없을 때, 오류를 예상하는 아키텍처가 적합하다고 주장하며, 이는 자가 개선 에이전트 시스템 개발에 중요한 시사점을 제공해요.

##LLM##에이전트##평가##지표##자가개선
매일 핵심 AI 소식을 한국어로, 빠르게
App Store 에서 Pulse 받기 앱에서 열기