연구진은 장문 컨텍스트 애플리케이션에 적합한 새로운 방법 Jet-Long을 제안했어요. Jet-Long은 사전 튜닝 없이 장문 컨텍스트를 확장하며, 짧은 컨텍스트의 정확도를 유지하면서 장문의 데이터에서도 효과적으로 작동해요.
Jet-Long은 로컬 RoPE 창과 장거리 창을 결합하고, 시퀀스 길이에 따라 동적으로 재조정되는 방식을 사용해 컨텍스트를 확장하며, 추론 시 오버헤드가 거의 없어요.
Qwen3-1.7B/4B/8B 모델에서 Jet-Long은 RULER보다 최대 4.79%p의 성능 향상을 보였고, HELMET-RAG 벤치마크에서 최고 정확도를 달성했어요.