연구진은 LLM 프롬프트를 압축해 중간 활성화 벡터로 변환하고 모델 초기에 재주입하는 방법을 제시했어요. 이 방식은 원래 토큰 시퀀스를 대체하며 정확도 하락이 2% 미만이에요. 이 기술은 고정된 프롬프트에 대한 쿼리당 계산량을 줄여주고, LLM의 활성화 공간에 구조가 있음을 보여줘요.
중간층 표현이 초기에 의미 있게 전달되며, 단일 활성화 벡터가 상당한 의미 정보량을 인코딩한다는 사실이 확인됐어요. 또한 가중 활성화 합이 강력한 표현 압축 방법임을 밝혔어요.
이 연구는 LLM의 레이어 간 호환성, 의미 정보 인코딩, 효율적인 표현 압축 가능성을 시사하며, 실제 활용 가능성도 제시합니다.