연구진이 Hierarchical Global Attention(HGA)을 활용한 새로운 파인튜닝 기법을 개발했어요. 이 기법은 VRAM 사용량을 줄여 16GB 그래픽 카드에서도 16,384개의 토큰을 처리할 수 있게 해줘요. HGA는 기존 방식보다 빠른 속도로 학습이 가능하며, 성능 저하 없이 장문 컨텍스트를 처리할 수 있어요. 연구 결과, HGA는 기존 방식과 유사한 성능을 보이면서도 더 빠른 속도를 제공하는 것으로 나타났어요.
연구진은 HGA를 통해 장문의 컨텍스트를 처리할 때, VRAM에 필요한 메모리 양을 줄이고, RAM이나 NVMe를 활용하여 효율적인 학습을 가능하게 했어요. 이를 통해 기존 방식으로는 불가능했던 더 긴 시퀀스의 학습을 가능하게 했으며, 이는 장문 데이터 학습에 중요한 이점을 제공해요. HGA는 기존 방식과 동일한 품질을 유지하면서도 더 빠른 속도로 학습을 진행할 수 있다는 장점이 있어요.
HGA는 현재 개발 중인 프로덕션 환경에서도 활용될 예정이며, 이는 더욱 효율적인 장문 컨텍스트 처리 시스템 구축에 기여할 것으로 기대돼요. 연구진은 HGA를 통해 장문의 컨텍스트를 효율적으로 처리하고, 성능 저하 없이 빠른 학습 속도를 제공하는 새로운 파인튜닝 기법을 제시했어요.