연구진은 LLM 양자화 시 성능 저하를 야기하는 'Perplexity Illusion' 현상을 발견했어요. 목표 작업 데이터만 활용하면 양자화 후 성능이 떨어지지만, 일반 도메인 데이터를 함께 사용하면 안정적인 성능을 확보할 수 있어요. 이를 해결하기 위해 연구진은 TASA(Task-Aware Sensitivity Analysis) 프레임워크를 제안하여, 교정 데이터 조합과 비트 할당을 최적화했어요.
TASA는 기존 방식보다 더 적은 비트 수로도 더 높은 정확도를 달성하는 '정밀도 역전' 현상을 보여주며, 평균 3.5비트 정밀도로 경쟁력 있는 4비트 모델을 능가했어요. 특히 LLaMA-3-8B 모델에서 GSM8K 문제 해결 능력이 20% 이상 향상됐어요.
연구 결과는 교정 데이터 조합이 작업에 민감한 양자화에 중요한 영향을 미친다는 점을 강조하며, 기존 연구에서 간과되었던 부분을 밝혀냈어요. TASA 프레임워크는 LLM 양자화 전략에 새로운 방향성을 제시하며, 메모리 및 연산 제약 환경에서 LLM 성능을 최적화하는 데 기여할 것으로 기대돼요.