LLM 스킬 라이브러리가 자가 진화하는 과정에서 '라이브러리 드리프트'라는 숨겨진 실패 모드가 발생합니다. 이는 결과 중심의 라이프사이클 관리가 부족하여 스킬 축적이 무한정 증가하면서 검색 성능 저하, 잘못된 스킬 주입, 성능 정체를 야기합니다. SkillsBench 평가 결과, LLM이 작성한 스킬은 성능 향상에 거의 기여하지 못하는 반면, 사람이 큐레이션한 스킬은 16.2%의 성능 향상을 보여줍니다.
연구진은 라이브러리 드리프트를 유발하는 요인을 분리하고, 스킬 기여도, 출처 판단, 라우터 사용량 등의 정보를 기록하는 진단 도구를 개발했습니다. 이를 통해 스킬 주입 비활성화, 조기 퇴출 등의 실험을 통해 실패 원인을 명확히 파악했습니다.
결과적으로, 결과 중심의 스킬 퇴출, 활성 스킬 제한, 메타 스킬 작성 우선 등의 최소한의 관리 규칙을 적용하여 MBPP+ hard-100 문제에서 pass@1 점수를 0.258에서 0.584로 향상시켰습니다. 이 연구는 자가 진화하는 에이전트에서 라이브러리 드리프트를 진단하기 위한 구체적인 지침을 제공합니다.