연구진이 LLM 사전 훈련 비용 절감을 위한 TSVD 프레임워크를 발표했어요. TSVD는 저랭크 표현과 엄격한 직교성을 유지하며, 스펙트럼 에너지 기반 휴리스틱으로 적응적 랭크 선택을 수행해요.
적응적 랭크 선택과 캐싱 메커니즘을 통해 사전 훈련 역학적 이점을 확보하고, 다양한 모델 규모에서 실험적으로 효과를 입증했어요.
TSVD는 전체 파라미터 기준선과 성능을 맞추거나 능가하면서도 컴퓨팅 요구 사항을 크게 줄여 효율적인 고성능 LLM 사전 훈련을 가능하게 해요.