연구진이 LLM 추론 효율성을 높이기 위해 활성화 희소화와 토큰 라우팅 기법을 연구했어요. 감도 기반 임계값 조정(SATS)은 기존 방식보다 더 나은 성능을 보였고, 토큰 라우팅은 품질과 처리량 간 균형을 개선했어요. 연구 결과, 임계값 조정과 토큰 라우팅을 통해 LLM의 품질과 처리량 간 균형을 개선할 수 있다는 점을 확인했어요.
SATS는 기존 방식의 활성화 희소화 메커니즘을 유지하면서, 계층별 게이트 임계값을 결정할 때 활성화 백분위수 대신 로컬 MLP 출력 감도 프록시를 사용해 임계값을 조정하는 방식이에요. 이를 통해 기존 방식보다 더 나은 성능을 얻을 수 있었어요.
토큰 라우팅 프레임워크는 모든 토큰에 대해 수정된 연산을 균일하게 적용하는 대신, 토큰별로 기본 경로와 수정된 경로를 동적으로 선택하는 방식으로, 정적 활성화 수정 기준선보다 품질과 처리량 간의 더 유리한 균형을 제공했어요.