연구진은 에이전트의 발전에 따라 LLM의 장문 컨텍스트 추론 능력에 대한 요구가 증가하는 것을 확인했어요.
ACC(Agent Context Compilation)는 에이전트의 문제 해결 과정을 QA 페어로 변환하여 모델이 도구 사용 없이 직접 답변하도록 훈련하는 방법이에요.
ACC를 통해 Qwen3-30B-A3B 모델은 MRCR에서 18.1%, GraphWalks에서 7.6% 성능 향상을 보이며, Qwen3-235B-A22B와 유사한 수준을 달성했어요.
ACC 훈련 모델은 과제에 따른 주의 집중 방식 변화와 전문가 특화 현상을 보이며, 기존 장문 컨텍스트 확장 및 훈련 방법과 결합하여 사용 가능해요.