SkillCoach는 LLM 에이전트의 기술 활용을 평가하고 개선하기 위한 자체 진화형 루브릭 프레임워크입니다. 실제 기술 레퍼지토리에서 중복되는 기술로 인해 신뢰성 있는 기술 활용이 어려워지는 문제를 해결합니다.
SkillCoach는 기술 선택, 기술 준수, 기술 조합, 기술 기반 성찰의 네 가지 차원을 평가하며, 최종 검증기 성공 여부와는 별개로 프로세스 품질을 구별합니다.
진화된 루브릭은 고품질 훈련 경로를 선택하기 위한 프로세스 감독으로 활용되며, 실험 결과 평가 품질 향상, 최종 정확도로 숨겨진 실패 노출, 에이전트 기술 활용 개선을 위한 강력한 감독 신호 제공 효과를 보였습니다.