연구진은 Qwen 모델 패밀리에 기반한 희소 자동 인코더(SAE) 모음인 Qwen-Scope를 공개하여, 모델 내부 작동 과정을 이해하고 개선하는 데 활용할 수 있도록 지원합니다.
Qwen-Scope는 추론 시간 제어, 평가 분석, 데이터 중심 워크플로우, 학습 후 최적화 등 4가지 방향으로 모델 개발에 활용될 수 있으며, 언어, 개념, 선호도를 제어하고 벤치마크 중복을 파악하는 데 기여합니다.
연구진은 Qwen-Scope를 통해 모델 내부를 행동과 연결하는 메커니즘 연구를 지원하고, 모델 진단, 제어, 평가, 개선을 위한 재사용 가능한 표현 수준 인터페이스를 제공하고자 합니다.