긴 context, 큰 vocab를 가진 LLM 학습 시 LM head + cross entropy가 메모리 소비의 주요 원인으로 지적돼요. 128K context에서는 logits 텐서가 모델 weight보다 더 많은 메모리를 차지하기도 해요.
16B 모델을 128K context로 학습하면서 겪었던 OOM 문제를 해결하기 위해 메모리 효율적인 Cross Entropy Loss 계산법을 소개해요.
logits 텐서를 분산 처리하거나, gradient checkpointing을 활용하는 방법 등이 제시돼요.