연구진은 멀티 티처 온폴리시 증류(OPD) 전략이 모델의 툴 호출 행동을 변화시킬 수 있다고 밝혔습니다. 일반적인 지식 증류는 툴 호출 성공률을 높이지만, 직접 답변해야 할 상황에서도 툴을 호출하는 과도한 경향을 유발합니다.
기존 방식으로는 툴 호출 샘플의 토큰 노출량 증가나 전체 시퀀스 토큰별 발산 크기를 통해 문제를 파악하기 어렵습니다. 연구진은 툴 호출을 유도하는 특정 토큰 레벨 신호의 불균형을 원인으로 지목했습니다.
연구진은 토큰 레벨의 Jensen-Shannon 발산을 동적으로 압축하는 Soft Clamp 방법을 제안했습니다. 이를 통해 APIGen-MT 데이터셋에서 과도한 툴 호출 비율을 줄이고, BFCL 다중 턴 진단 환경에서 툴 호출 루프 및 반복 호출을 감소시켰습니다.