연구진은 도시 계획 지식의 AI 복제 가능성을 평가하는 Urban Planning Bench(UPBench) 프레임워크를 소개했어요. 4가지 지식 축과 5가지 인지 수준으로 LLM의 추론 능력을 평가했답니다. 25개의 LLM을 평가한 결과, 분석 능력은 뛰어나지만 사실 기반 기억과 통합적 판단은 부족한 것으로 나타났어요.
UPBench는 LLM이 규제 환각, 개념 혼동, 난제 마비, 현명함 결핍과 같은 한계를 보인다고 분석했어요. 이는 도시 계획 지식이 제도적, 관할, 시간적 맥락에 크게 의존하기 때문이라고 설명해요.
연구 결과에 따라 AI는 문맥 합성, 문헌 검토, 시나리오 생성, 정책 분석 등에 활용할 수 있지만, 관할 구체적인 규제, 가치 갈등 해결, 맥락에 따른 절차에서는 신뢰하기 어렵다고 조언해요. AI 보조 분석은 검증이 필요하고, 도시 계획 교육은 제도적 이해, 가치 판단, 맥락적 감수성을 강조해야 한다고 덧붙였어요.