연구진이 모델 성능 저하를 일으키는 슈퍼 웨이트를 발견했어요. 하지만 모든 LLM에서 슈퍼 웨이트 제거로 인한 성능 저하가 나타나지는 않아요. 슈퍼 웨이트를 분리하여 학습하면 OLMo-1B와 OLMo-7B의 정확도가 무작위 추측 수준으로 떨어져요.
슈퍼 웨이트 좌표를 타겟팅하는 것이 실패의 원인이며, 무작위 위치를 학습하면 오히려 성능이 향상돼요. LoRA와 같은 구조적 분해 방식은 적은 파라미터로도 성공적으로 작동해요.
슈퍼 웨이트는 중요하지만 개별적으로 학습될 수 없으며, 효과적인 파인튜닝은 전체 레이어에 대한 구조적 분해에 의존한다는 점을 확인했어요.