AI가 스스로 코드를 고쳐 능력을 키우는 재귀적 자기개선(RSI) 단계에 수년 내 도달할 수 있다는 경고가 나왔어요. 이로 인해 전례 없는 지능 폭발이 일어날 위험이 있어요. AI 연구소 창업자들조차 AI로 인한 파국적 사건 발생 확률을 10~50%로 평가하며 심각성을 강조하고 있어요. 현재 AI 안전 연구는 이러한 급격한 지능 상승에 대한 대비책 마련에 어려움을 겪고 있어요.