사용자가 Google의 Gemma 4 31B 모델을 88개 레이어로 확장하여 44B 파라미터 모델을 만들었어요. LLaMA Pro 접근 방식을 참고하여 Gemma 모델에 특화된 레이어 확장 전략을 사용했어요. 확장 모델은 원 모델의 특징을 유지하면서 추가적인 용량을 확보하는 것으로 보입니다.
확장 모델의 초기 결과는 긍정적이지만, 긴 컨텍스트에서 어떻게 작동하는지 확인해야 합니다. 실험 과정에서 얻은 그래프는 Claude로 생성되었어요. Reddit 사용자가 관련 내용을 공유했어요.
Google이 더 큰 Gemma 모델을 출시하지 않아 사용자가 직접 확장 실험을 진행한 사례로, 오픈소스 AI 커뮤니티에 기여할 수 있을 것으로 보입니다.