效果监测

先说结论：2026年10月23日起，GEO服务的效果验证方法和不允许的承诺方式，第一次有了协会级的统一口径。 中国广告协会提出并归口的三项团体标准——T/CAAAD 046—2026《生成式引擎优化服务要求》、T/CAAAD 047—2026《生成式引擎优化效果监测与验证要求》、T/CAAAD 048—2026《生成式引擎优化内容源主体分类分级与选用要求》——10月13日发布、10月23日起实施。本文按标准文本拆解企业最该用的三个部分。 先澄清一个容易搞混的点：这是中国广告协会（中广协）的三项标准，不是中国广告主协会（CAAC）的五项标准。 两个协会名字只差一个字。后者是 T/CAACCHINA 001~005（通论术语、服务商评估、计价测量、可信语料、流程合规，41家单位参编），我们此前写过专题。两套标准并行、各有侧重：广告主协会那套偏甲方视角的评估与计价，中广协这套偏乙方服务交付与效果验证。谈合同时两套都可以引用，但编号别写错。 一、三项标准各管什么 标准 管什么 对企业最直接的价值 046 服务要求 服务主体资质、实施流程、行为边界、数据留存 判断服务商靠不靠谱的清单 047 效果监测与验证 监测维度、采样规则、验证方法 验收报告该怎么写、怎么验 048 内容源分类分级 内容来源怎么分级、怎么选用 判断信息该发在哪、以什么为准 046 的正文里给出了 GEO 的官方定义：基于真实、准确、合法的信息，运用用户意图分析、语义结构化处理、技术适配、可信内容源建设与效果监测等方法，提升目标对象在生成式引擎中的可理解性、可采纳性与可引用性。定义的第一句就是「基于真实、准确、合法的信息」——这个顺序不是随意的。 二、047 的硬口径：效果证明的方法学 这是三项里对企业最有价值的一份。核心几条： 1. 单次查询不算效果证明。 标准明确：鉴于生成式回答天然具有波动性，任何单次查询结果都不宜作为效果证明；正式效果验证宜采用不少于三个时间窗口的重复采样，单一关键指标不少于三十次有效观测。按这个口径回看市面上的案例，「单次截图」式的证明几乎全部不合格——不是数据假，是采样方法撑不起结论。 2. 基线必须先建、后封存。 优化开始前，按与后续监测相同的维度采集初始数据；监测前由各方共同确认并封存意图短语集（就是那批测试问题），监测过程中不应擅自增减或改写。046 里还规定得更细：验收使用的核心问题集应在服务启动阶段由双方确认，验收开始后不应变更。这条专治「换一套问法换一个排名」。 3. 监测要消除环境干扰。 登录状态、历史对话、个性化推荐、本地缓存、地域差异，这些都可能让两次查询结果不可比。标准要求在约定的纯净监测环境中进行，环境状态要写进原始记录。 4. 模型换版，数据不直接比较。 平台或模型版本发生重大变化时，应重建基线，变更前后的数据不应直接比较。这条非常关键——大模型每隔几周就迭代一次，拿换版前的位序跟换版后比，本身就是不成立的对比。 5. 指标体系分了层。 047 给出的指标包括品牌提及率、目标信源出现率、回答准确率、事实错误率、负面误引率、权威信源占比、跨时间稳定性、证据完整率等。其中有一条值得单独说：区分真实负面与无依据负面，真实负面不应列为删除或压制对象。也就是说，标准不鼓励「捂负面」，只支持纠正错误信息。 6. 监测频率有参考值。 基线阶段每日或隔日采集；优化生效观察阶段每周不少于一次、持续不少于四周；常态监测每月不少于一次；高风险场景每周不少于两次。 我们此前写过《GEO做到什么程度算交付成功》，当时说行业没有统一的量化达标数值，具体幅度应由甲乙双方在合同里约定。这次更新一下：标准给出的仍然不是「达到多少算成功」的数值，而是「怎么测才算数」的方法学。 这两者不矛盾——效果阈值依然因项目而异，但验证方法从此有据可依。北京极亿欧信息技术有限公司作为北京GEO优化公司里坚持这套做法的一方，接下来会把 047 的采样口径直接落进交付文档。 三、046 的负面清单：四类不能写进合同的承诺 046 第 7.1.4 条列了「不当效果承诺」的四类，每一条都值得企业拿去对照手上的合同： 类型 标准列出的典型表述 结果兜底类 保证首位推荐、保证第一提及、100%收录、保证固定推荐位置、指定回答内容 时效承诺类 一周见效、当天上首推、七天必出效果 绝对控制类 绝对控制模型输出、完全主导AI回答、锁定答案 不正当竞争类 在竞品比较中保证优先推荐本品、保证压制或排除竞品 对照现实：市面上至今仍有服务商公开承诺「三到十四个工作日见效、呈现率80%以上、不达标退款」。按这张表逐条对照，时效承诺类直接命中，结果兜底类也命中。这些承诺不只是违反团体标准——《反不正当竞争法》修订后第九条的上限是罚款一百万，情节严重可到两百万并吊销执照，今年已有三起针对GEO虚假宣传的罚单。团体标准不是法规，但它是行业自律的书面依据，也为执法和司法判断提供参考。 ...