연구진이 LLM의 도구 활용 추론 성능을 개선하기 위해 FFN 개입 방법인 Amplitude Gating(AG)을 제안했어요.
AG는 사전 학습된 FFN 가중치 방향을 유지하며 활성화 크기만 조절하는 비파괴적인 방식이에요.
Qwen3.5-9B 모델에서 카테고리별 학습 게이트를 적용했을 때 도구 활용 및 에이전트 성능이 4.27% 향상됐고, Hermes 함수 호출 작업에서는 7.6% 향상됐어요.
연구 결과, 도구 활용 추론이 안전한 FFN 수준의 추론 최적화를 위한 가장 유망한 목표임을 보여줬어요.