Gemma 팀이 Gemma 4 모델군을 공개했어요. 23억에서 31억 파라미터 규모로, 덴스 및 Mixture-of-Experts 아키텍처를 사용해요. 새로운 모델은 시각 및 오디오 인코더를 개선하고, 12B 모델은 원시 오디오와 이미지 패치를 처리하는 통합 아키텍처를 도입했어요.
Gemma 4는 추론 과정을 보여주는 '생각 모드'를 지원하며, STEM, 멀티모달, 긴 문맥 벤치마크에서 성능을 향상시켰어요. 인간 평가 작업에서는 더 큰 규모의 오픈 모델과 경쟁하는 수준이에요.
인퍼런스 속도, 메모리, 컴퓨팅 효율성, 긴 문맥 처리 능력을 개선하기 위한 설계 변경이 적용됐어요.