최근 LLM은 128K 토큰, 256K 토큰 이상의 긴 컨텍스트 윈도우를 지원하며 빠르게 확장되고 있어요. JAX 및 XLA를 활용하여 장문 컨텍스트 모델 훈련을 가속화하는 새로운 기술이 개발되었어요. 이 기술은 메모리 사용량을 줄이고 훈련 속도를 향상시켜 더 큰 모델과 데이터셋을 효율적으로 다룰 수 있도록 돕습니다.