연구진이 LLM 파이프라인의 불필요한 토큰 사용량 감소를 위한 '엔트로피 게이트'라는 토큰 압축 프레임워크를 공개했어요. 엔트로피 게이트는 저에너지 토큰을 제거하면서 의미적 충실도를 유지하는 '엔트로피 켄칭'이라는 열역학적 과정을 활용합니다.
각 토큰은 통계적, 구조적, 위치적 요소를 결합한 정보 에너지(E(t))를 기반으로 평가되며, 적응형 켄칭 스케줄을 통해 생존 확률이 낮은 토큰을 제거합니다. 에너지-가중치 유사도가 특정 임계값 아래로 떨어지면 압축을 중단하는 안전 장치도 포함돼요.
실험 결과, 엔트로피 게이트는 5가지 프롬프트 카테고리에서 40~60%의 압축률을 달성했으며, 에너지 제곱 증폭을 통해 10~25%의 추가적인 성능 향상을 보였습니다.