사용자가 8개 로컬 모델을 대상으로 고전 판타지 역할극 에이전트 벤치마크를 진행했어요. 퀘스트 완료, 장면 마무리, 아이템/시간 추적, 캐릭터 감지, 스토리텔링, 초안 작성 등 다양한 항목을 평가했어요. Gemma-4-31B가 87%의 높은 합격률을 기록했지만, Qwen3.6-27B는 82%로 근접한 성능을 보여줬어요. 모델별 세부 항목별 점수 차이가 커서, 전체 점수만으로는 성능을 정확히 판단하기 어려울 수 있어요.
Gemma-4-31B가 87%로 가장 높은 합격률을 기록했고, Qwen3.6-27B는 82%로 근접한 성능을 보였어요. 다른 모델들은 55~70% 사이의 낮은 합격률을 기록하며 성능 격차가 컸어요. 모델별 세부 항목별 점수 차이가 커서, 전체 점수만으로는 성능을 정확히 판단하기 어려울 수 있어요.
사용자는 모델별 세부 항목별 점수 차이가 크다는 점에 주목하며, 다른 사용자들도 유사한 현상을 경험했는지 궁금해했어요. 전체 합격률만으로는 모델의 강점과 약점을 파악하기 어렵다는 점을 지적했어요.