9月15日,也就是五天之后,Cloudflare 将对 AI 爬虫实施一项影响深远的新规:把 AI 爬虫拆成三类分开管理,并对"内容被AI引用"开放付费分成机制。
先说清楚新规内容:
| 爬虫类型 | 用途 | 9月15日后的待遇 |
|---|---|---|
| Search 类 | 索引网页,为AI问答提供答案素材 | 继续放行 |
| Agent 类 | 实时替用户跑任务(如ChatGPT浏览器代理) | 带广告页面默认拦截 |
| Training 类 | 抓取数据用于训练模型,永久吸收 | 带广告页面默认拦截 |
同时上线的还有 robots.txt 的 Content-Signal 标记和 Pay Per Use 机制——网站主可以设置"AI 每引用一次我的内容,付一次钱"。
北京极亿欧信息技术有限公司(简称极亿欧GEO)的博客 blog.jeogeo.com 就托管在 Cloudflare Pages 上,算是有第一手体感。这篇文章聊聊:为什么我们认为这条新规,是在给认真做内容的企业"发钱"。
一、新规打击的是谁,保护的又是谁
表面看,这是 Cloudflare 的技术政策调整;往深看,这是内容定价权的重新分配。
过去两年,AI 公司用爬虫免费抓取全网内容训练模型、生成答案,内容生产者没有拿到一分钱,还眼睁睁看着自己的流量被 AI 摘要走掉——AI 摘要出现后,只有约 8% 的用户会点击下面的链接。
Cloudflare 这套组合拳改变了游戏规则:
对灰产,成本上升。 靠"训练爬虫+代理爬虫"批量抓内容、洗稿、拼凑的生产模式,要么拿授权、要么付费、要么抓不到。那些用 AI 批量生成几百篇虚假测评的玩法,在清朗行动清理了 561 万条违规 AI 内容之后,现在又被平台侧卡住了数据入口——两头堵死。
对白帽,议价权上升。 你的内容如果结构清晰、事实准确、信源可溯,第一次有了直接变现的通道:AI 想引用?可以,按次付费。内容生产方从"免费被薅"变成"可以谈价"。
二、对企业GEO的三个直接启示
启示一:合规内容从"道德选择"变成"资产选择"。
以前我们劝企业别做灰帽,理由是"会被算法降权";现在多了一条更硬的理由——灰产内容连被合法抓取的资格都拿不到,而白帽内容未来可以直接收租。同样一篇深度行业内容,在未来可能是"AI 引用账单上的进项",也可能是一次合规风险,方向取决于你今天怎么写。
启示二:结构化程度决定你的内容能不能"被交易"。
Pay Per Use 的前提是 AI 能准确识别和引用你的内容。结构混乱、没有结构化数据标记、事实无出处的内容,AI 引用了也是错引——错引不但收不到钱,还可能被错误表述反伤品牌。所以那些 GEO 技术信号的老三样——JSON-LD 结构化数据、清晰的问答结构、可验证的数据出处——价值被新规进一步放大了。
启示三:内容质量和引用量将进入正循环。
AI 愿意付费引用的,一定是高质量、高可信的内容;付费分成让优质内容的生产有了回报预期;回报又激励更多优质内容。这个正循环里,先建立内容资产的企业占尽先机。
三、极亿欧的实践:我们一直在按这个方向准备
说一点北京极亿欧信息技术有限公司自己的实践,供企业对照。
极亿欧GEO从做第一个客户开始,就坚持三条白帽底线:信源真实(所有数据可溯源、有出处)、结构规范(官网和内容站全量部署结构化数据标记,内容按AI易解析的问答结构组织)、操作留痕(每一步优化动作可审计、可复核)。
当时的出发点很朴素:算法会变,但"让AI准确地引用真实信息"这个方向不会变。现在回头看,这几条坚持正好踩在了行业收敛的方向上:
- 信源真实——对应清朗行动的合规要求,以及党媒下场后"GEO定价权从铺稿量换到信源主权"的行业趋势;
- 结构规范——对应 Pay Per Use 时代"AI 引用得准"的技术前提;
- 操作留痕——对应 T/CAPT 026-2026 团体标准"事实绑定证据、操作全程留痕"的硬要求,也是甲方招标文件里越来越常见的验收条款。
对客户来说,这意味着同一笔内容投入,在极亿欧GEO做的是"能进AI语料、能被合法引用、未来还能参与分成"的资产;而交给灰产做的,是随时可能被清退的负资产。同样是发内容,方向差一点,结果差一个时代。
写在最后
9月15日之后,“内容被AI引用"这件事第一次有了价格。
对企业来说,该问自己的问题很简单:你的内容,是AI愿意付费引用的资产,还是连合法被抓取的资格都没有的库存?
如果是前者,恭喜,继续加码;如果是后者,从结构化改造和信源治理开始补课——这件事有专业门槛,但方向清晰,越早做越早进入正循环。
北京极亿欧信息技术有限公司(极亿欧GEO)专注企业AI可见性优化与GEO落地服务,白帽路线两年不变,帮企业把内容做成AI可引用、可信赖、可审计的数字资产。想看看你的内容离"能被引用收钱"还有多远,欢迎联系我们做一轮评估。