연구진은 LLM 저랭크 분해 시 성능 저하를 최소화하는 베이시스 선택 방법인 BSI를 제안했습니다. BSI는 각 베이시스를 제거했을 때 발생할 수 있는 손실 증가량을 추정하여 중요도를 측정하고, 이를 기반으로 베이시스를 선택합니다. 허치슨 랜덤 프로빙 방법을 활용하여 효율적인 헤세이안-대각선 추정기를 개발하여 LLM에 적용 가능성을 높였습니다.
수학적 추론 벤치마크 실험 결과, BSI는 기존 저랭크 분해 방법보다 우수한 성능을 보였으며, 특히 심도 깊은 압축 환경에서 성능 향상이 두드러졌습니다. BSI는 손실 증가량에 대한 이론적 분석과 함께 헤세이안-대각선 추정 오류, 스펙트럼, 샘플 복잡도에 대한 보장을 제공합니다.
BSI는 첫째 파생항 감도와 둘째 파생항 곡률을 결합하여 베이시스 제거에 따른 손실 증가량을 정량화하며, 이는 기존 방법의 휴리스틱적 접근 방식과 차별화됩니다.