새로운 연구 논문은 프리필링과 디코딩 과정에서 서로 다른 양자화 전략을 적용해야 한다고 주장합니다.
프리필링은 공격적인 양자화(W4A4)를 적용해도 괜찮지만, 디코딩에서는 오류 누적을 피하기 위해 정밀한 방식을 사용해야 합니다.
연구에 따르면, 프리필링은 이론적으로 4배 빠른 속도를 낼 수 있지만, 디코딩 성능은 눈에 띄는 개선을 보이지 않을 수 있습니다.
저자들은 일부 추론 엔진이 이미 이 아이디어를 적용했을 가능성이 있다고 언급하며, 낮은 정밀도의 연산은 스트리밍 방식보다 손실이 적을 수 있습니다.