연구진은 토큰 난이도에 따라 컴퓨팅 자원을 동적으로 할당하는 Self-Optimizing Language Models (SOL)를 개발했습니다.
SOL은 LLM의 hidden state를 읽고 토큰별 효율성 액션을 선택하는 경량 정책 네트워크를 활용하여 어텐션 희소성, MLP 활성화 가지치기, 활성화 양자화 비트 폭을 조절합니다.
SOL은 MMLU 정확도를 통일된 예산 할당 전략보다 최대 7.3% 향상시켰으며, 품질-효율성 패레토 프런트를 개선했습니다.