연구진이 데이터가 부족한 환경에서 LLM을 효율적으로 적응시키는 '어텐션 헤드 재가중치 부여(AHR)' 방법을 제안했어요. AHR은 LLM의 각 어텐션 헤드에 단일 스칼라 값을 학습하여 학습해야 할 파라미터 수를 대폭 줄여요.
다양한 텍스트 분류 데이터셋 실험 결과, AHR은 적은 샘플로 학습할 때 LoRA와 같은 기존 방법보다 뛰어난 성능을 보였으며, 학습 파라미터 수는 200~1000배 적게 사용했어요.
학습된 가중치는 해석이 용이하여 LLM의 인컨텍스트 학습 능력에 관여하는 어텐션 헤드를 이해하는 데 도움을 줘요.