연구진이 볼록 재구성 및 그래디언트 캐싱 기술을 활용한 LLM 테스트 시간 파인튜닝 방법 'HullFT'를 개발했어요. HullFT는 쿼리 임베딩을 활용해 관련 학습 시퀀스 지원 세트를 생성하고, 정수 다중 집합으로 변환해 효율적인 파인튜닝을 가능하게 해요.
기존 방법 대비 볼록 재구성 및 그래디언트 재사용을 통해 품질과 효율성 간 균형을 개선했으며, 더 낮은 비트/바이트로 더 빠른 총 실행 시간을 달성했어요.
HullFT는 쿼리 임베딩을 볼록 조합으로 표현하고, 기하학적 정수화 절차를 통해 파인튜닝에 필요한 정수 다중 집합을 생성하는 방식으로 작동해요.