연구진이 복잡한 기업 SaaS 시스템의 현실적인 제약 조건 하에서 AI 에이전트의 성능을 평가하는 새로운 벤치마크 'SaaSBench'를 공개했어요.
SaaSBench는 30개의 복잡한 작업, 6개의 SaaS 도메인, 5,370개의 검증 노드를 포함하며, 8개의 프로그래밍 언어, 6개의 데이터베이스, 13개의 프레임워크를 지원하여 실제 소프트웨어의 이질성을 반영해요.
실험 결과, 최첨단 에이전트의 주요 병목 현상은 개별 코드 로직 생성이 아니라 다중 구성 요소 시스템을 구성하고 통합하는 데 있다는 점이 확인되었으며, 시스템 설정 단계에서 실패하는 경우가 많아요.