Nous Research가 토큰 중첩 기법을 활용하여 모델 사전 훈련 효율을 높이는 연구를 발표했어요. 토큰 중첩은 기존 방식보다 적은 계산량으로 더 많은 데이터를 학습할 수 있도록 해줍니다. 연구 결과는 arXiv에 공개되었으며