연구진은 LLM 에이전트에 절차적 지식을 담은 Skills가 다양한 분야에서 작업 성공률을 평균 16.2% 향상시킨다는 보고와 달리, 84개 작업 중 16개에서 오히려 성능이 저하되는 현상을 발견했어요.
공격형 사이버 보안 분야에서 Skills의 추가적인 이점은 거의 없으며, Skills 유무에 따른 성능 차이는 8.9%에 불과하고 통계적으로 유의미하지 않으며 (p=0.71), 일부 설정에서는 오히려 성능을 저하시키는 것으로 나타났어요.
연구진은 에이전트의 도구 레이어가 엄격하고 빠른 응답을 제공하는 환경에서는 Skills가 제공하는 절차적 수정 신호가 불필요하며, 오히려 환경 자체에서 충분한 피드백을 얻을 수 있다고 주장했어요.