트랜스포머 아키텍처와 GPT 시리즈의 등장 이후, 데이터, 파라미터, 학습 토큰을 기하급수적으로 확장하며 인공지능 모델의 성능이 향상되었습니다. 최근에는 '테스트 시간 컴퓨팅'과 같은 알고리즘 혁신이 모델 개선에 중요한 역할을 하며, 새로운 확장 차원을 제시하고 있습니다. 딥시크 엔그램과 같은 메모리 메커니즘 개선, 양자화, KV 캐싱 등 다양한 시도가 현재 인공지능의 최첨단 기술을 이끌고 있습니다.