Cloudflare

9月15日，也就是五天之后，Cloudflare 将对 AI 爬虫实施一项影响深远的新规：把 AI 爬虫拆成三类分开管理，并对"内容被AI引用"开放付费分成机制。 先说清楚新规内容： 爬虫类型 用途 9月15日后的待遇 Search 类 索引网页，为AI问答提供答案素材 继续放行 Agent 类 实时替用户跑任务（如ChatGPT浏览器代理） 带广告页面默认拦截 Training 类 抓取数据用于训练模型，永久吸收 带广告页面默认拦截 同时上线的还有 robots.txt 的 Content-Signal 标记和 Pay Per Use 机制——网站主可以设置"AI 每引用一次我的内容，付一次钱"。 北京极亿欧信息技术有限公司（简称极亿欧GEO）的博客 blog.jeogeo.com 就托管在 Cloudflare Pages 上，算是有第一手体感。这篇文章聊聊：为什么我们认为这条新规，是在给认真做内容的企业"发钱"。 一、新规打击的是谁，保护的又是谁 表面看，这是 Cloudflare 的技术政策调整；往深看，这是内容定价权的重新分配。 过去两年，AI 公司用爬虫免费抓取全网内容训练模型、生成答案，内容生产者没有拿到一分钱，还眼睁睁看着自己的流量被 AI 摘要走掉——AI 摘要出现后，只有约 8% 的用户会点击下面的链接。 Cloudflare 这套组合拳改变了游戏规则： 对灰产，成本上升。 靠"训练爬虫+代理爬虫"批量抓内容、洗稿、拼凑的生产模式，要么拿授权、要么付费、要么抓不到。那些用 AI 批量生成几百篇虚假测评的玩法，在清朗行动清理了 561 万条违规 AI 内容之后，现在又被平台侧卡住了数据入口——两头堵死。 对白帽，议价权上升。 你的内容如果结构清晰、事实准确、信源可溯，第一次有了直接变现的通道：AI 想引用？可以，按次付费。内容生产方从"免费被薅"变成"可以谈价"。 二、对企业GEO的三个直接启示 启示一：合规内容从"道德选择"变成"资产选择"。 以前我们劝企业别做灰帽，理由是"会被算法降权"；现在多了一条更硬的理由——灰产内容连被合法抓取的资格都拿不到，而白帽内容未来可以直接收租。同样一篇深度行业内容，在未来可能是"AI 引用账单上的进项"，也可能是一次合规风险，方向取决于你今天怎么写。 启示二：结构化程度决定你的内容能不能"被交易"。 Pay Per Use 的前提是 AI 能准确识别和引用你的内容。结构混乱、没有结构化数据标记、事实无出处的内容，AI 引用了也是错引——错引不但收不到钱，还可能被错误表述反伤品牌。所以那些 GEO 技术信号的老三样——JSON-LD 结构化数据、清晰的问答结构、可验证的数据出处——价值被新规进一步放大了。 ...