연구진은 모델 생성 에이전트 기술의 수명 주기 전반에 걸친 체계적인 평가를 수행하여, 경험 생성, 기술 추출, 기술 소비 단계에서 기술이 실제로 효과적인지, 언제 효과적인지, 무엇이 성공과 실패를 결정하는지 분석했어요.
다양한 에이전트 작업 영역에서 실험을 진행한 결과, 모델 생성 기술은 평균적으로 유용하지만, 예상치 못한 부정적 전이 현상이 발생하며, 추출기와 대상 에이전트 모두 일관된 성능을 보이지 않아요.
연구 결과, 기술 유용성은 모델 규모나 기본 작업 강도와 무관하며, 경험 구성 방식, 유용한 기술의 특징, 기술이 다양한 소비자에게 어떻게 전달되는지 등을 심층적으로 분석하여 기술 추출 메타 기술을 개발하여 기술 품질을 개선하고 부정적 전이를 줄였어요.