연구진은 장기 계획 LLM의 세계 모델이 특정 조건에서 급격하게 붕괴하는 현상을 발견했어요. 상태 로드나 계획 수명이 약간만 변해도 행동에 큰 변화가 나타나며, 이는 기존 모델의 세계 모델이 손상되었음을 의미해요. 이러한 붕괴 현상은 모델 성능의 중요한 병목 현상으로 작용할 수 있으며, 더 강력한 모델도 이러한 질적 변화를 완전히 제거하지는 못해요.
연구는 결정적 작업에서 정확한 상태 정보를 활용하여 세계 모델의 붕괴를 분석하고, 상태 크기, 의존성 밀도, 계획 수명 등의 변수를 조절하여 상전이 다이어그램을 제시했어요. 이 다이어그램은 해결된 구간, 붕괴 구간, 붕괴 바닥으로 구성돼 있어요.
연구 결과, 세계 모델의 충실도가 행동의 타당성보다 먼저 실패하며, 이는 단순한 잘못된 행동 선택이 아닌 세계 모델 자체의 손상을 의미하는 것을 보여줘요.