클라우드플레어가 검색용과 AI 학습용 크롤러를 분리하여 웹사이트 운영자의 콘텐츠 통제권을 강화합니다. 혼합 용도 크롤러는 9월 15일부터 광고 페이지 기본 차단됩니다.
AI 기업은 모델 학습 및 서비스 구동을 위해 크롤러 목적을 명확히 구분해야 하며, 클라우드플레어는 콘텐츠 활용에 대한 대가를 받을 수 있는 '페이 퍼 유스' 모델을 도입할 예정입니다.
이번 정책은 출판사의 대역폭 부담을 줄이고, 인터넷 트래픽의 지속 가능한 생태계를 조성하는 데 기여할 것으로 기대됩니다.