연구자가 23개의 Gemma 4 E4B 모델을 abliterlitics 테스트로 비교 분석한 결과를 발표했어요. 모델별 성능과 특징을 상세히 담은 보고서는 HuggingFace와 웹사이트에서 확인할 수 있어요.
heretic 변종 모델이 전반적으로 가장 우수한 성능을 보였으며, OBLITERATUS 모델은 심각하게 망가진 것으로 나타났어요. 또한, 일부 모델은 서로 기반을 두고 있음에도 출처를 밝히지 않아 논란을 일으키기도 했어요.
Gemma 4 E4B 모델의 reasoning distill fine-tunes는 모델 성능을 저하시키는 부정적인 영향을 미쳤으며, Claude 4.6 Opus distill은 GSM8K와 MMLU-Pro 점수가 크게 하락하는 결과를 보였어요.