연구진이 메모리 효율적인 파인튜닝 프레임워크 ChunkFT를 발표했어요. ChunkFT는 네트워크 구조를 변경하지 않고 임의의 하위 텐서에 대한 그래디언트 계산을 가능하게 해줘요. Llama 3-8B 및 Llama 3-70B 모델을 단일 RTX 4090 GPU로 파인튜닝하는 데 성공했어요.
7B 모델 완전 파인튜닝 시 1K 입력 길이에 13.72GB의 GPU 메모리만 필요해요. ChunkFT는 기존의 메모리 효율적인 방법보다 성능이 뛰어나며, 때로는 완전 파인튜닝과 동등하거나 그 이상의 성능을 보여줘요.