DeepMind가 텍스트 확산 모델인 DiffusionGemma를 공개했어요. 기존 텍스트 생성 모델과 달리, 이미지 확산 방식처럼 텍스트 블록을 한 번에 처리하는 방식이 특징이에요.
Uniform State Diffusion 기술로 텍스트 블록을 반복적으로 정제하고 노이즈를 제거하며, 오류 발생 시 자체적으로 노이즈를 추가해 실시간으로 오류를 수정하는 Error Correction 기능도 포함됐어요.
260억 파라미터 MoE 모델이지만 추론 시 38억 파라미터만 활성화되며, 양자화 시 18GB VRAM에 충분히 들어가는 등 접근성이 높습니다.