GEO实验设计：假设、变量与归因方法
一、为什么GEO需要实验设计，而不是”上线看效果”
传统SEO有搜索引擎结果页，排名波动可以逐日追踪、可以对照竞争对手同期变化。GEO面对的是大模型生成的自然语言答案，同一个问题今天问和明天问，答案可能不同；换个IP、换个账号、换个时区，答案也可能不同。如果没有固定标尺和对照设计，团队最常陷入的循环是：这个月被引用多了，团队庆祝；下个月少了，又开始怀疑是不是哪篇文章写坏了。中间没有任何结论。
这和线索归因的困难同源：触点多、路径长，不做归因设计就只能凭感觉。区别在于，GEO的”用户”是模型，行为更稳定但更不可见，因此更需要人为设计可控实验，把黑盒打开一条缝。
| 常见错误做法 | 后果 | 正确做法 |
|---|---|---|
| 改完内容一周就看引用率 | 样本不足，结果随机 | 对照基线跑满6至8周 |
| 同时改标题、结构、外链 | 无法归因到具体动作 | 一次只改一个变量 |
| 每次换一批问题测效果 | 样本漂移，趋势不可比 | 固定问题集，跨季度复用 |
| 只看自己品牌被提没提 | 漏掉行业大盘整体变化 | 加一个中立对照组query |
| 问一次就算数 | 模型采样本身有随机性 | 每条query跑3次取众数 |
二、第一步：把假设写死在实验开始之前
一个GEO假设必须能被证伪。合格的假设长这样：”在FAQ模块增加三条带数字的对比数据后，目标问题集中品牌被引用率从基线X%提升到Y%以上。”不合格的假设长这样：”优化一下内容，希望AI能多引用我们。”后者无法证伪，也就无法做实验。
假设要落到具体变量上。变量分三类：页面层（标题、H2结构、首段答案、表格密度、Schema标记）、站点层（内链结构、抓取频次、页面权重传导）、外部层（被第三方站点引用的事实源、维基/百科条目、新闻稿）。三层变量不能混在一次实验里。问题集怎么定，可参考固定问题集月度监测和站内搜索query挖掘的做法。
| 假设类型 | 示例写法 | 预期测量指标 | 验证周期 |
|---|---|---|---|
| 页面层假设 | 首段直接给数字答案，引用率+10pp | 被引用率、首引用位次 | 4至6周 |
| 结构层假设 | 增加对比表格，事实型答案引用提升 | 结构化答案命中率 | 6至8周 |
| 外部层假设 | 补充第三方事实源后品牌名出现率提升 | 品牌名出现率、误述率 | 8至12周 |
| 实体层假设 | 补全组织实体标记后，AI能正确识别公司全称 | 实体识别准确率 | 6至8周 |
三、第二步：变量控制与对照设计
实验设计的核心是”控制其他变量不变”。B2B独立站流量不大，很难做严格的A/B分桶（把一半用户导到旧版一半导到新版），因此GEO实验更多用时间序列对照：先测2周基线，再上线改动，再测6周，看改动前后的差值。
三个必须固定的干扰项：第一，问题集不变，连措辞都不要改；第二，采样环境不变，用同一个地区、同一个账号状态、同一天的同一时段跑；第三，对照组query保留，挑几条和你改动无关的中性query一起跑，如果它们也变了，说明是模型版本更新或行业噪声，不是你的功劳。内容分层怎么写，见事实/观点/主张三层内容。
| 控制项 | 基线期要求 | 实验期要求 | 常见失控点 |
|---|---|---|---|
| 问题集 | 30至50条，分类覆盖 | 同一批，不增不减 | 中途加新query凑效果 |
| 采样环境 | 固定IP地区/语言/时段 | 完全一致 | 用家里和公司不同网络混跑 |
| 对照组 | 5至8条中立query | 持续监测 | 忘了设对照组 |
| 模型版本 | 记录当期版本号 | 跨版本需重测基线 | 模型大版本升级后直接对比 |
| 页面范围 | 只动目标页面 | 其他页面冻结改动 | 顺手改了导航和全站样式 |
四、第三步：采样方法与四个核心指标
每条query不能只问一次。大模型有温度参数，同一个问题连续问三次，引用源可能不同。标准做法是每条query问3次，统计答案里出现你域名的次数，取众数作为该query的结果；3次里出现2次以上才算”被引用”。每周固定一个时间点跑一轮，避免工作日和周末的流量差异污染判断。
四个核心指标按优先级排：被引用率（目标query中答案带你域名的比例）、首引用位次（答案里你是第几个被提到的源，第一个权重最高）、品牌名出现率（答案里是否正确出现公司名/产品名）、负面误述率（答案里有没有关于你的事实错误）。监测面板怎么搭，见AI引擎引用监测面板。
| 指标 | 基线参考区间 | 有效提升阈值 | 工具/取数方式 |
|---|---|---|---|
| 被引用率 | 新站5%至15% | 净提升≥10个百分点 | 问题集逐条人工/API采样 |
| 首引用位次 | 第3至第8位 | 进入前3占比≥30% | 答案文本中域名出现顺序 |
| 品牌名出现率 | 30%至60% | 提升≥15个百分点 | 正则匹配公司全称/简称 |
| 负面误述率 | 5%以内为健康 | 上升即触发纠正流程 | 人工复核+关键词告警 |
| 答案采纳率 | 视行业而定 | 周环比连续3周上升 | 固定周轮次对比 |
五、第四步：归因判断，排除大盘噪声
实验结束后，先看对照组query。如果对照组也整体上涨了5个百分点，说明这是模型版本更新或行业热度变化带来的大盘漂移，你真实的净提升要扣掉这部分。净提升=实验组变化减去对照组变化，只有净提升达到阈值，才认定这次动作有效。
另一个常见陷阱是”相关性不等于因果”。比如你改了页面，同时行业里出了一个和你同类的新闻，AI答案引用你的频率上升了，这可能是新闻事件带动的，不是你页面改动的功劳。这种情况下，把这次实验标记为”存疑”，下一轮重复同一改动，看能否复现。复现一次算验证，复现两次才算结论。事实源怎么选，见站外事实源与AI答案。
| 归因情形 | 判断信号 | 结论处理 |
|---|---|---|
| 实验组涨、对照组不动 | 净提升达阈值，可复现 | 动作有效，固化推广 |
| 实验组涨、对照组也涨 | 大盘同步漂移 | 扣减后再判，可能无效 |
| 实验组涨、对照组跌 | 疑似抢夺份额 | 有效，重点看竞品位次 |
| 实验组跌、对照组不动 | 改动有副作用 | 回滚，定位具体伤害点 |
| 全部剧烈波动 | 模型版本升级期 | 暂停判断，等版本稳定 |
六、实验节奏：一个人团队怎么排期
小团队不要同时开三个实验。建议季度节奏：每个季度一个主攻假设，6至8周跑完；跑的同时固定每周跑问题集监测，日常维护不动目标页面。跨季度复用同一批query，才能看出年度趋势。多人协作时，内容生产和AI人工边界的界定见AI内容与人工边界。
| 阶段 | 时长 | 动作 | 产出 |
|---|---|---|---|
| 基线期 | 2周 | 跑问题集，记录四指标 | 基线数据卡 |
| 改动期 | 1周 | 上线单个变量改动 | 改动清单 |
| 观测期 | 4至6周 | 每周跑一轮，含对照组 | 周度监测表 |
| 归因期 | 1周 | 扣大盘、判净提升 | 实验结论卡 |
| 复盘期 | 1周 | 有效则固化，无效则归档 | 下季度假设清单 |
FAQ 常见问题
写在最后
GEO和传统SEO最大的区别，是它的”结果”藏在模型生成的自然语言里，不像排名那样一行数字摆在你面前。正因为看不见，才更需要把实验做成流程：固定问题集、控制变量、留基线、跑满周期、扣大盘。做不到这几点，团队每个月都在”感觉变好”和”感觉变差”之间摇摆，一年下来没有任何可沉淀的结论。
落地建议从最小闭环开始：这个季度只定一个假设，建30条问题集，跑2周基线，改一个变量，观测6周。一个季度跑完一个完整闭环，比同时铺开十个”GEO优化动作”有用得多。GEO的复利来自可复制的实验方法，不来自零散的尝试。
一句可以记住的话：没有对照组的GEO优化，等于蒙眼投篮——进不进都靠运气，下一场还是从零开始。