Qwen-Scope는 Qwen3 및 Qwen3.5 모델에 내장된 해석 가능성 모듈로, Sparse Autoencoders(SAE)를 활용하여 데이터 특징을 추출하고 모델 내부 메커니즘 분석 및 최적화에 활용돼요.
Qwen-Scope는 각 트랜스포머 레이어별로 SAE 체크포인트 파일을 제공하며, 파일 하나당 인코더 가중치, 디코더 가중치, 편향 등의 텐서를 포함하고 있어요.
Qwen-Scope를 사용하면 추론 제어, 평가 샘플 분포 분석, 데이터 분류 및 합성, 모델 훈련 및 최적화 등 다양한 분야에 활용할 수 있으며