Reddit 사용자가 위상 반전 텐서 임베딩(PITE)을 활용한 네거티브 비트 양자화(NBQ) 기술을 개발했다고 주장하며 LLM 압축의 새로운 가능성을 제시했어요. NBQ는 기존 양자화 방식과 달리 모델 가중치를 압축하는 대신 메모리 캐시를 활용하여 VRAM을 절약하는 방식이에요. 특히 대규모 모델일수록 VRAM을 더 절약할 수 있으며, Llama-3 70B 모델을 -Q4_Neg로 양자화했을 때 VRAM이 28.1GB 감소하는 효과를 보였어요.
NBQ는 모델의 정확도에 큰 영향을 주지 않으며, 오히려 PCIe 버스 오버헤드를 우회하여 빠른 생성 속도를 제공한다고 해요. 현재 C++ 리포지토리를 정리하고 있으며, GitHub에 양자화 스크립트와 기술 백서를 공개할 예정이에요.
이 기술을 통해 400B 모델을 RTX 3060과 같은 구형 GPU에서도 실행하고, 남은 VRAM으로 암호화폐 채굴까지 할 수 있을 것으로 기대되지만, 실제로는 풍자적인 내용이라는 점을 밝히며 마무리했어요.