DreamFast의 Nathan Dreamfast가 Gemma 4 E2B 모델의 13개 변종을 안전 장치 제거, KL 발산, HarmBench 안전성, 8개 벤치마크 테스트했습니다.
안전 장치 제거는 13개 변종 모두에서 HarmBench ASR을 32.2%에서 82%~100%로 끌어올렸으며, 일부 변종은 추론 능력을 향상시키기도 했습니다.
coder3101 변종은 ASR 96%를 달성하고 수학 문제 해결 능력이 기준 모델보다 뛰어나며, 모델 카드에 표기된 안전 장치 제거 효과 주장은 실제와 차이가 있는 경우가 많았습니다.