Reddit 사용자가 Gemma 모델에 17개의 레이어를 추가하는 실험을 진행했는데, 초기 시도는 실패했지만 새로운 방법을 적용해 성공적인 결과를 얻었어요.
새로운 방법은 기존 레이어의 동작을 일부 모방하도록 새로운 레이어를 초기화하여, 학습 신호를 즉시 받을 수 있도록 하는 것이었어요. 이를 통해 레이어가 ‘움직이는’ 상태에서 학습을 시작할 수 있었어요.
실험 결과, 확장된 모델은 원본 모델과 유사한 성능을 보였으며, 일부 질문에서는 원본 모델보다 더 나은 답변을 제공하기도 했어요. 이는 기존 모델에 대규모 수술을 해도 성능 저하 없이 개선할 수 있다는 가능성을 보여줘요.