연구진은 대규모 언어 모델(LLM)에 사실적 지식을 주입하는 효과적인 방법을 모색하며 하이퍼네트워크 활용 방안을 제시했어요.
하이퍼네트워크를 활용해 특정 지식을 담은 LoRA 어댑터를 생성하고, 이를 LLM에 주입하여 질문에 답변하도록 학습시키는 훈련 시간 지식 주입 방식이 효과적인지 검증했어요.
MegaWikiQA라는 대규모 데이터셋을 구축하여 하이퍼네트워크의 깊이, 너비, 대상 네트워크 크기에 따른 성능 변화를 분석하고, 기존 LoRA 파인튜닝 대비 더 나은 OOD 일반화 성능을 확인했어요.