Anthropic이 SOP(Scaled Outer Product)라는 LLM 양자화 신규 방법론을 발표했어요. 기존 방식 대비 1.5bpw 더 적은 저장 공간으로 더 나은 성능을 낼 수 있다고 합니다. 새로운 하드웨어 효율적인 LUT 출력 형식(HIF)을 제안하여 성능, 에너지, 비용을 개선했습니다.
새로운 방법론은 고정 및 동적 코드북 쌍 검색, 블록 단위 서명 스케일, 활성화 가중 코사인 선택, 민감 레이어 다중 선택 나선 탐색 등 다양한 기술을 결합합니다.
6개의 오픈 모델 패밀리에서 FP6 운영 포인트가 기존 FP8 방식보다 더 나은 성능을 보이며, 저장 비용도 절감했습니다.