IvGranite 사용자가 ThinkingCap과 Fable Fusion이 에이전트 작업에서 Qwen3.6-27B보다 우수하다는 주장에 대해 6개의 자가 평가 작업, 5회 반복, 3개 모델을 활용한 90회 독립 실행 테스트를 진행했어요.
ThinkingCap은 Qwen3.6-27B 대비 thinking 토큰 사용량을 34% 줄이고 6개의 작업 중 5개에서 가장 빠른 속도를 보였지만, 일부 실행에서 10회 이상의 도구 호출을 하는 등 비모달한 결과를 보였어요.
Fable은 Qwen3.6-27B와 동일한 결과를 내면서 모델 호출 횟수는 24% 더 많았으며, 실제와 다른 정보를 생성하거나 불필요한 도구 호출을 하는 등 신뢰성이 떨어지는 경향을 보였어요.
베이스 모델이 기본 설정으로 유지되어야 하며, 파인튜닝 모델은 일반적으로 기본 모델보다 성능이 좋지 않다는 결론을 내렸으며, ThinkingCap은 thinking 토큰 지연 시간이 병목 현상인 경우에만 고려해볼 만하다고 조언했어요.