LLM 사전 훈련 시 막대한 컴퓨팅 비용이 주요 병목 현상으로, 저랭크 훈련이 이를 해결하기 위한 대안으로 주목받고 있습니다. ELAS는 저랭크 모델에서 2:4 구조적 희소성을 활성화에 적용하여 메모리 사용량을 줄이고 처리량을 향상시키는 새로운 프레임워크입니다. 60M~1B 파라미터 LLaMA 모델을 대상으로 실험한 결과, ELAS는 2:4 활성화 희소성을 적용해도 성능 저하 없이 훈련 및 추론 속도를 가속화했습니다.