JAX 기반 LLM 학습 시 GPU 메모리 한계에 부딪히는 문제를 해결하기 위해 Host Offloading 기법을 사용했어요. 모델 가중치, 그래디언트, 옵티마이저 상태를 CPU 메모리로 이동시켜 GPU 메모리 사용량을 줄여요. Host Offloading을 통해 GPU 활용률을 60% 이상 향상시키고, 학습 시간을 20% 단축하는 효과를 확인했어요. 특히, 70B 파라미터 모델 학습 시 성능 향상 효과가 컸어요.