연구진이 툴콜 에이전트 평가를 위한 합성 데이터 품질 측정 프레임워크 SynAE를 공개했어요. SynAE는 실제 데이터 궤적의 특성을 얼마나 잘 복제하고 보완하는지 평가하는 데 사용돼요.
SynAE는 작업 지시, 도구 호출, 최종 출력, 다운스트림 평가 등 4가지 지표를 통해 합성 데이터의 유효성, 충실도, 다양성을 평가해요.
실험 결과, 단일 지표만으로는 합성 데이터 품질을 충분히 설명할 수 없으며, 다각적인 평가가 필요하다는 점을 확인했어요.
SynAE 데모는 Hugging Face 공간에서, 코드는 GitHub에서 확인할 수 있어요.