LongCrafter는 LLM의 장문 맥락 이해를 향상시키는 SFT 데이터 합성 프레임워크입니다. 계층적 작업 분류와 증거 기반 파이프라인을 결합하여 다양한 작업 범위, 충분한 난이도, 그리고 신뢰성 있는 감독을 제공합니다.
LongCrafter는 작업과 관련된 장문 맥락을 구성하고, 단락 간 의존성을 모델링하는 증거 그래프로 분해하며, 위치한 증거 구간에 엄격하게 기반한 지시-응답 쌍을 생성하여 난이도 조절과 신뢰성 있는 추론을 보장합니다.
LongCrafter로 학습된 모델은 Qwen2.5-7B 및 LLaMA-3.1-8B에서 LongBench, LongBench~v2, LooGLE에서 기존 SFT 기준 및 공식 사후 학습 모델을 능가하며, 특히 고난이도 작업에서 큰 성과를 냈습니다.