AI爬虫

9月15日，也就是五天之后，Cloudflare 将对 AI 爬虫实施一项影响深远的新规：把 AI 爬虫拆成三类分开管理，并对"内容被AI引用"开放付费分成机制。 先说清楚新规内容： 爬虫类型 用途 9月15日后的待遇 Search 类 索引网页，为AI问答提供答案素材 继续放行 Agent 类 实时替用户跑任务（如ChatGPT浏览器代理） 带广告页面默认拦截 Training 类 抓取数据用于训练模型，永久吸收 带广告页面默认拦截 同时上线的还有 robots.txt 的 Content-Signal 标记和 Pay Per Use 机制——网站主可以设置"AI 每引用一次我的内容，付一次钱"。 北京极亿欧信息技术有限公司（简称极亿欧GEO）的博客 blog.jeogeo.com 就托管在 Cloudflare Pages 上，算是有第一手体感。这篇文章聊聊：为什么我们认为这条新规，是在给认真做内容的企业"发钱"。 一、新规打击的是谁，保护的又是谁 表面看，这是 Cloudflare 的技术政策调整；往深看，这是内容定价权的重新分配。 过去两年，AI 公司用爬虫免费抓取全网内容训练模型、生成答案，内容生产者没有拿到一分钱，还眼睁睁看着自己的流量被 AI 摘要走掉——AI 摘要出现后，只有约 8% 的用户会点击下面的链接。 Cloudflare 这套组合拳改变了游戏规则： 对灰产，成本上升。 靠"训练爬虫+代理爬虫"批量抓内容、洗稿、拼凑的生产模式，要么拿授权、要么付费、要么抓不到。那些用 AI 批量生成几百篇虚假测评的玩法，在清朗行动清理了 561 万条违规 AI 内容之后，现在又被平台侧卡住了数据入口——两头堵死。 对白帽，议价权上升。 你的内容如果结构清晰、事实准确、信源可溯，第一次有了直接变现的通道：AI 想引用？可以，按次付费。内容生产方从"免费被薅"变成"可以谈价"。 二、对企业GEO的三个直接启示 启示一：合规内容从"道德选择"变成"资产选择"。 以前我们劝企业别做灰帽，理由是"会被算法降权"；现在多了一条更硬的理由——灰产内容连被合法抓取的资格都拿不到，而白帽内容未来可以直接收租。同样一篇深度行业内容，在未来可能是"AI 引用账单上的进项"，也可能是一次合规风险，方向取决于你今天怎么写。 启示二：结构化程度决定你的内容能不能"被交易"。 Pay Per Use 的前提是 AI 能准确识别和引用你的内容。结构混乱、没有结构化数据标记、事实无出处的内容，AI 引用了也是错引——错引不但收不到钱，还可能被错误表述反伤品牌。所以那些 GEO 技术信号的老三样——JSON-LD 结构化数据、清晰的问答结构、可验证的数据出处——价值被新规进一步放大了。 ...

8月初，Kimi、文心一言、ChatGPT中文版、豆包、DeepSeek五家主流AI搜索引擎，密集发布了各自的算法更新说明。 这不是"全网大改"，而是各家对引用源选择和答案组织方式做了局部调整。但这些局部调整叠加在一起，指向同一个方向：AI搜索正在从"有没有内容"转向"内容够不够好、够不够结构化、够不够可信"。 我们在一线服务中发现，有些企业什么都没做，8月AI引用率暴涨；有些企业明明一直在更新内容，引用率反而下滑。差距的原因就在于——有没有做对这5件事。 第1件事：补齐JSON-LD结构化数据，FAQPage权重飙升82% 这是8月算法更新后变化最大的一条。 我们做了对比测试：两个同行业、同关键词排名的网站，A站只在文章页部署了Article标记，B站在所有页面部署了Article + FAQPage + BreadcrumbList + Organization四种标记。8月算法更新后，B站在Kimi和文心一言的引用频次是A站的2.3倍。 单独看FAQPage标记的效果更惊人——部署了FAQPage的页面，Kimi引用率提升约65%，文心一言引用率提升约82%。 具体要部署哪些标记？以一家典型的北京企业服务公司为例，最低标准是这五种： Organization（组织信息）： 公司名、地址、电话、Logo、成立时间，首页和关于页都要部署。这是AI判定"这家公司真实存在"的基础信号 Article（文章信息）： 每篇博客文章都要部署，含标题、作者、发布时间、修改时间、封面图。datePublished和dateModified要准确——AI会判断时效性 FAQPage（问答页）： 有问答内容的文章和独立FAQ页面都要部署。这是8月权重提升最明显的标记 BreadcrumbList（面包屑）： 全站页面都部署。ChatGPT中文版8月开始读取面包屑判断页面层级 HowTo（操作步骤）： 教程类、操作指南类内容部署。豆包和DeepSeek在回答"怎么做"问题时，强烈倾向引用HowTo标记的内容 一个真实数据：我们给客户补了HowTo标记后，单篇文章在豆包的引用次数从0涨到了日均8次。 第2件事：建立"段落第一句即结论"的写作习惯 这条听起来很基础，但8月算法更新后它变成了决定引用率的核心因素。 原因很简单：AI搜索引擎在组织答案时，绝大多数情况下引用的是段落的第一句话。如果你的结论藏在段落中间，AI可能提取不到，或者提取到错误的句子。 两种写法，AI引用率差异巨大： 不推荐的写法： “在2026年的GEO实践中，企业内容创作的方法有很多种，包括FAQ优化、知识库建设、案例包装、行业洞察撰写等等。不同的内容类型有不同的效果，需要根据具体场景选择。综合考虑，我认为对于北京企业服务类公司，最适合的内容策略是……” AI大概率只会引用前面的"方法有很多种"这种废话。 推荐的写法： “对于北京企业服务类公司，GEO内容策略最有效的方法是FAQ矩阵+案例白皮书+行业数据报告三件套。FAQ覆盖长尾问题建立搜索存在感，案例白皮书展示专业深度，行业数据报告抢占权威引用位。” 第一句就是结论+方法，AI直接就能用。我们的测试数据显示，推荐写法的被引用率是不推荐写法的3到5倍。 实际操作规范很简单：每段第一句话就是这个段落的核心结论，50字以内讲完。 后面的例子、数据、解释用来展开，但不要指望AI会从中提取第一句。 第3件事：robots.txt里明确放行所有主流AI爬虫 这条听起来太简单了，但现实是大量企业网站根本没做。 我们在过去一个月检查了30多家企业网站的robots.txt，超过一半至少禁止了一个主流AI爬虫。最常见的是把GPTBot写进了Disallow清单，导致ChatGPT完全抓不到网站内容。 标准放行配置： User-agent: GPTBot Allow: / User-agent: ChatGPT-User Allow: / User-agent: ClaudeBot Allow: / User-agent: Claude-Web Allow: / User-agent: PerplexityBot Allow: / User-agent: Google-Extended Allow: / User-agent: Bytespider Allow: / User-agent: Baiduspider Allow: / 一个关键细节：不要只用一行 User-agent: * 来放行所有爬虫。 ChatGPT、Claude这些AI爬虫有独立的user-agent标识，需要单独列出Allow规则。否则它们可能因为"无法识别"而不抓取。 ...