Qwen3의 기본 컨텍스트 창은 약 32,768토큰입니다. 커뮤니티에서 동일 체크포인트를 기반으로 '1M 컨텍스트' GGUF를 배포하고 있습니다. 이는 새로운 뇌가 아니라 YaRN(RoPE 확장) 기술을 활용해 모델이 이미 학습한 위치 맵을 확장하는 방식입니다.
YaRN을 사용한 컨텍스트 확장은 컨텍스트 세금, KV/VRAM 제한, Lost-in-the-middle 문제와 같은 함정을 안고 있습니다. 컨텍스트 길이를 늘리는 것만으로는 실제 성능 향상을 보장할 수 없습니다.
YaRN 작동 원리, 활성화 플래그, 사용하지 않을 때를 설명하는 8분짜리 강의 영상이 공개됐습니다. 사용자들은 Qwen에서 YaRN을 사용할 때 어떤 요소를 고려해야 하는지 의견을 공유하고 있습니다.