연구진은 Transformer 백본을 고정하고 토큰당 연산량을 늘려 기존 모델의 성능을 향상시키는 Hidden Decoding 방법을 제안했어요.
Hidden Decoding은 각 토큰을 여러 스트림으로 확장하고, 스트림 내에서 독립적인 임베딩 테이블과 키-값 캐시를 활용하여 내부 연산을 늘려요.
Stream-Factorized Attention을 통해 어텐션 비용을 줄여 100B+ MoE 규모의 LLM에서 Hidden Decoding을 적용할 수 있었으며, 성능 향상을 입증했어요.