Qwen 팀에서 Qwen3.5 모델의 내부 메커니즘 분석 및 모델 최적화를 위한 해석 가능성 모듈인 Qwen-Scope를 공개했어요. Qwen-Scope는 희소 오토인코더(SAE)를 활용하여 데이터 특징을 추출하고 모델의 내부 작동 방식을 분석할 수 있도록 지원해요.
Qwen-Scope는 64개의 레이어에 대해 SAE 체크포인트 파일을 제공하며, 각 파일은 인코더 가중치, 디코더 가중치, 편향 등의 텐서로 구성돼 있어요. 사용자는 이 파일을 통해 모델의 내부 과정을 탐색할 수 있어요.
Qwen-Scope는 추론 제어, 평가 샘플 분포 분석, 데이터 분류 및 합성, 모델 훈련 및 최적화 등 다양한 분야에 활용될 수 있으며