연구진이 토큰 압축 방법인 progressive cramming을 새롭게 제시했어요. 이 방법은 토큰을 점진적으로 늘려가며 압축 가능성을 확인하고, 압축 과정에서 발생하는 오류가 최적화 실패인지 근본적인 한계인지 파악해요.
progressive cramming을 통해 얻은 결과는 압축된 임베딩이 저차원 구조를 이루며, 원본 프레픽스가 컨텍스트에 있어도 벤치마크 정확도가 떨어지는 현상을 보여줘요.
연구 결과는 토큰 압축의 한계를 연구하는 도구로서 progressive cramming의 가치를 입증하고, 완벽한 재현이 의미 있는 압축을 위한 충분 조건이 아님을 시사해요.