GEO实验设计：对照组、指标选择、样本量与统计显著性
一、为什么”看涨跌”在GEO里不算结论
电商做A/B测试，一天能积累几千次曝光，跑一周就能算出显著性。GEO面对的是同一个问题集反复问AI，总样本量天然小——30条query问3次也就90次观测。在这种小样本下，直接比较”改前20%、改后28%”，8个百分点的差距很可能只是模型这周心情波动。
所以GEO不能照搬互联网A/B测试的p值流程，要换成”净提升+复现”的判定框架：先扣掉大盘和竞品同期变化，得到净提升；再要求这个净提升在下次重复实验里再次出现。GEO实验的基础设计逻辑见GEO实验设计：假设、变量与归因，本文只补统计层面的细节。
| 做法 | 问题 | 正确做法 |
|---|---|---|
| 改完一周看涨跌 | 样本太小，随机波动 | 跑6至8周，扣基线 |
| 只比改前改后 | 没扣大盘 | 加竞品同期对照 |
| 追求大样本 | 凑query引入新噪声 | 固定30至50条 |
| 看p值下结论 | 小样本p值不稳 | 用净提升+复现 |
| 涨了就固化 | 可能是版本更新 | 复现两次才算 |
二、指标选择：一个主指标，两个护栏
指标不能贪多。一次实验只定一个主指标，否则结果出来你挑好看的报，等于没做。GEO最常用的主指标是被引用率：目标query中答案带你域名或品牌名的比例。
护栏指标有两个，作用是防止主指标”虚假胜利”。第一个是首引用位次：被引用率涨了，但你从第一位掉到第五位，不算赢。第二个是事实误述率：被引用率涨了，但答案开始把你产品参数说错，这是灾难不是胜利。主指标涨、任一护栏恶化，实验判负。
| 指标层 | 指标 | 定义 | 阈值参考 |
|---|---|---|---|
| 主指标 | 被引用率 | 答案带你域名/品牌的比例 | 净提升≥10pp |
| 护栏1 | 首引用位次 | 你在答案里第几个被提 | 不下降超过1位 |
| 护栏2 | 事实误述率 | 答案里关于你的事实错误比例 | 不超过5% |
| 参考 | 品牌名出现率 | 答案是否正确写出品牌名 | 趋势向上即可 |
场景化例子：你把FAQ模块加了三条带数字的对比，跑了六周，被引用率从18%涨到31%，净提升13个百分点。但翻答案发现，有4条query把你的产品价格说错了。这时候主指标过了阈值、护栏2破了红线，实验判负——你拿到了流量，却传播了错误信息，下一版要先补事实再扩FAQ。
三、对照组设计：时间序列加竞品双扣减
B2B独立站流量小，做不了严格分桶A/B。GEO常用两种对照组。第一种是时间序列对照：先测2周基线，再上线改动，再测6周，看改动前后差值。第二种是竞品对照：挑两到三个和你同类、和你改动无关的竞品，同期跑同一问题集，看他们的被引用率有没有同步变。
两个对照一起用最稳。净提升等于你的变化减去基线变化，再减去竞品同期变化。如果你涨了13个百分点，竞品同期也涨了8个百分点，那真实净提升只有5个百分点，不够10个阈值。竞品内容怎么对标，见竞品内容差距的30查询分析。
| 对照方式 | 做法 | 能扣除什么 | 局限 |
|---|---|---|---|
| 时间序列 | 先2周基线再6周观测 | 自身周波动 | 扣不掉行业大盘 |
| 竞品同期 | 2至3个竞品同问题集 | 模型版本/行业热度 | 竞品不在你的query里难测 |
| 中性query对照 | 5至8条无关query | 纯模型噪声 | 不反映行业趋势 |
| 组合使用 | 时间+竞品+中性 | 三层噪声全扣 | 采样成本略高 |
四、样本量与实验周期
样本量不是越大越好。GEO的样本量受问题集数量限制，30至50条query是单人团队的甜蜜点，每条跑3次取众数，一轮就是90至150次观测。硬把query扩到200条，新增的query往往和你实验变量无关，只会稀释信号。
真正该拉长的是周期。模型有周级波动，6至8周的实验周期能覆盖一到两个完整波动周期。短于4周的实验，结论只能当参考。表单A/B测试的样本量逻辑可作对照，见表单A/B测试：变量与样本量，但GEO样本量约束更紧。
| 实验周期 | 观测周数 | 可信度 | 适用 |
|---|---|---|---|
| <4周 | 1至2周 | 只能当参考 | 预实验摸底 |
| 6周 | 4周观测 | 初步可信 | 常规GEO实验 |
| 8周 | 6周观测 | 较稳 | 重要改动决策 |
| >10周 | — | 可能已过时 | 避免，模型已变 |
五、显著性判断与常见误判
在小样本下，别迷信p值。GEO更实用的判定是三条同时满足：净提升达到10个百分点以上、连续两周稳定不下滑、下次重复实验能复现。复现一次算验证，复现两次才算结论。
三种常见误判要避开：一是只跑一次就宣布成功，忽略采样随机性；二是不扣对照组波动，把大盘上涨当自己功劳；三是看到主指标涨就停，忘了检查护栏指标。问题集怎么长期复用，见固定问题集月度监测。
| 情形 | 信号 | 判定 |
|---|---|---|
| 净提升≥10pp且复现 | 主指标过阈值，护栏稳 | 动作有效，固化 |
| 净提升≥10pp但护栏跌 | 被引用却说错事实 | 判负，先补事实 |
| 涨了但竞品也涨 | 大盘同步漂移 | 扣后不够阈值，无效 |
| 只跑一次就涨 | 单次采样随机 | 存疑，需复现 |
| 净提升<5pp | 噪声范围 | 不动作，继续观察 |
FAQ 常见问题
GEO实验为什么不能用普通A/B测试的p值？
样本量是不是越大越好，多准备点query更稳？
主指标和护栏指标怎么选？
没有大流量做不了分桶A/B，GEO怎么对照？
净提升到多少才算真的有效？
实验做了一半模型升级了怎么办？
写在最后
GEO实验的统计思维，和互联网增长团队的A/B测试表面相似，骨子里完全不同。互联网测试赌的是大样本下的随机对照，GEO赌的是小样本下的长期复现。样本小就别硬算p值，把实验做长、把对照做全、把阈值定死，结论反而更可靠。
落地三步：每个季度只定一个主指标（建议被引用率）和两个护栏；用时间序列加竞品双对照扣净提升；净提升≥10个百分点且复现两次才固化。配套方法见GEO实验设计与GEO实践。
一句可以记住的话：GEO里”涨了”不算数，”扣完大盘还涨、下次还能复现”才算数——小样本靠的是纪律，不是运气。