CANTANTE는 복잡한 작업을 수행하는 LLM 기반 멀티 에이전트 시스템의 구성 자동화를 위한 프레임워크입니다. 시스템 레벨의 보상을 쿼리에 대한 여러 조인트 구성의 롤아웃을 비교하여 각 에이전트의 업데이트 신호로 분해합니다. 프롬프트 최적화를 위해 CANTANTE를 구현하여 에이전트 프롬프트를 학습 가능한 시스템 파라미터로 취급했습니다.
MBPP, GSM8K, HotpotQA 벤치마크에서 CANTANTE는 평가된 모든 최적화기 중에서 가장 좋은 평균 순위를 달성하고 최적화되지 않은 프롬프트보다 성능이 뛰어났습니다. MBPP에서 +18.9% 포인트, GSM8K에서 +12.5% 포인트 성능 향상을 보였습니다.
CANTANTE의 크레딧 상관관계 분석 결과, 속성 부여기는 의미 있는 에이전트별 신호를 생성하며 글로벌 시스템 점수를 반영하지 않는다는 것을 확인했습니다.