NVIDIA Megatron Core에서 LLM의 학습 속도를 높이는 새로운 기술인 동적 컨텍스트 병렬 처리(Dynamic-CP)를 소개합니다. 이 기술은 LLM의 사후 훈련이나 DiT 사전 훈련 과정에서 변동 길이 학습을 가속화하는 데 사용됩니다. Dynamic-CP는 컨텍스트 크기를 동적으로 조정하여 메모리 사용량을 최적화하고 효율적인 학습을 가능하게 합니다.