연구진은 7B 모델을 32K에서 128K 컨텍스트로 확장하는 장문 컨텍스트 지속 사전 훈련에 대한 체계적인 연구를 진행했어요. 장문 VQA가 OCR 전사보다 효과적이며, 다양한 길이와 위치에서 핵심 정보를 검색하는 균형 잡힌 데이터가 중요하다고 밝혔어요. MMProLong 모델은 5B 토큰 예산으로 훈련되었으며, 128K 컨텍스트 훈련 창을 넘어 256K 및 512K 컨텍스트에서도 강력한 성능을 유지해요.