Qwen 3.6이 벤치마크 테스트에서 높은 점수를 받았지만, 실제 사용 환경에서는 Gemma 4가 더 나은 성능을 보여줬어요. 특히 복잡한 이미지 처리, 비디오 분석, 문화적 맥락 이해에서 차이가 컸답니다.
Qwen 3.6은 간단한 작업에서는 개선되었지만, 복잡한 작업에서 과도한 토큰을 소모하는 경향이 있는 반면, Gemma 4는 더욱 간결하게 작업을 처리했어요. 또한 Gemma 4는 좌표 추출, 비디오 프레임 처리 등에서 더 정확한 결과를 제공했답니다.
Gemma 4는 유럽/서구 문화권 관련 작업에서 강세를 보였고, Qwen 3.6은 아시아 문화권 관련 작업에서 더 나은 성능을 보여주는 등, 학습 데이터의 지역적 편향이 나타났어요.