询盘A/B测试设计：变量选择、样本量计算与统计显著性
一、变量选择：先测影响大的，别从颜色开始
很多团队做A/B测试的起点是”按钮换成红色还是蓝色”。这是本末倒置。按钮颜色对转化率的影响，通常在5%以内；而首屏标题改一句话，可能影响30%以上。流量有限的B2B独立站，必须把有限的访问量花在影响最大的变量上。
变量优先级的判断标准很简单：这个变量变了，买家会不会重新考虑要不要继续看下去。会的，是高优先级；只是看起来不一样，不影响他决策的，是低优先级。首屏标题、主CTA按钮文案、表单字段数，这三个是直接影响转化决策的，排最前面。
| 优先级 | 变量类型 | 对转化率的预期影响 | 什么时候测 |
|---|---|---|---|
| 高 | 首屏标题与副标题 | 20%-40% | 第一优先 |
| 高 | 主CTA按钮文案与位置 | 15%-30% | 标题测完接着测 |
| 高 | 表单字段数（5个 vs 8个） | 15%-25% | 落地页核心变量 |
| 中 | 信任元素位置与数量 | 5%-15% | 大变量测完再测 |
| 中 | 案例区出现的位置 | 5%-10% | 有流量余量时测 |
| 低 | 按钮颜色、字体微调、间距 | 0%-5% | 流量足够大再碰 |
表单相关的测试有专门的一篇讲，见表单A/B测试，那篇聚焦表单字段和布局。本文讲的是更广的着陆页测试设计。测试前先用询盘热力图分析定位到底哪里流失，再决定测什么——不要凭空想一个假设就开测。
二、样本量计算：跑多少访问量才够
这是A/B测试最容易被跳过、也最致命的一步。很多人今天开测，三天后看到B组数据高了几个百分点，就宣布B组赢了。这个结论90%的概率是错的，因为样本量太小，随机波动就能制造出假的”显著差异”。
样本量取决于三个数：基线转化率（你现在的转化率）、想检测到的最小提升（比如20%相对提升）、统计显著性水平（通常取95%，即p小于0.05）。B2B独立站询盘转化率通常在1%至5%之间，下表是这个区间的速查。
| 基线转化率 | 想测出相对提升 | 每组所需访问量 | 约需跑多久（月流量1万） |
|---|---|---|---|
| 1% | 20%（到1.2%） | 约2.5万次/组 | 50天以上 |
| 2% | 20%（到2.4%） | 约1.2万次/组 | 25天以上 |
| 5% | 20%（到6%） | 约4500次/组 | 9天以上 |
| 10% | 20%（到12%） | 约2000次/组 | 4天以上 |
| 2% | 50%（到3%） | 约3500次/组 | 7天以上 |
注意最后一行：如果你想检测的提升很大（比如从2%涨到3%），样本量会小很多。反过来，如果你想检测”按钮红和蓝的区别”这种5%以内的差异，样本量会大到不现实。这就是为什么小流量站不要测小变量——你跑半年也测不出统计显著的结论。
另一个经验法则是每组至少要有100次转化。如果A组来了5000个访问，按2%转化率只有100次转化，B组也只有100次，这时候两组差几次转化，p值根本不可信。这也是为什么低流量站更适合用定性方法（用户访谈、热力图）而不是严格的A/B测试。实验设计的整体方法论可参考GEO实验设计的假设与归因思路。
三、统计显著性：怎么判断结果真的赢了
跑完预设样本量后，用卡方检验或Z检验算p值。标准是p小于0.05，即95%的置信度，才认为差异显著。如果p值在0.05到0.1之间，只能算”有趋势”，不能下结论；p大于0.1，说明两组差异很可能是随机的。
还有一个常见陷阱是”偷看偏差”：测试跑到一半，你忍不住看一眼数据，发现B组占优，就提前停测。每次偷看都会增加假阳性概率——连续偷看五次，假阳性率可能从5%升到20%以上。正确做法是开测前定好样本量和测试周期，中途不看，到点再一次性读结果。
| p值区间 | 统计含义 | 决策 |
|---|---|---|
| p < 0.01 | 极强显著 | 可以放心上线新版本 |
| 0.01 ≤ p < 0.05 | 显著 | 可以上线，继续观察 |
| 0.05 ≤ p < 0.1 | 有趋势不显著 | 不能下结论，延长测试或放弃 |
| p ≥ 0.1 | 无差异 | 两组基本一样，保留原版即可 |
场景示例：某工业站把首屏标题从”专业传感器制造商”改成”为OEM设备商提供±0.1%精度的压力传感器”，开测时算好每组需要1.2万次访问。跑到第10天，数据显示B组转化率从2%升到2.8%，p值0.03。
这时候不能急着庆祝，要确认：是不是每组都跑够了1.2万次？如果还没跑够，继续跑到样本量；如果跑够了且p值仍小于0.05，才上线新版本。
四、测试执行的纪律：一次只测一个变量
这是本文的反直觉判断：同时测三个变量，看起来效率高三倍，实际上等于什么都没测出来。假设你同时改了标题、按钮颜色和表单长度，B组转化率涨了30%。你不知道是哪个改动起了作用——可能是标题改对了，也可能是表单变短了，甚至可能是流量刚好波动。下次你想再优化别的，没有任何可复用的结论。
一次只测一个变量的另一个好处是结论可累积：这个月测标题，赢了；下个月测按钮，赢了；半年下来你有一套经过验证的最优版本。同时测多个变量，半年后你还是在原地打转。
| 纪律要求 | 错误做法 | 正确做法 |
|---|---|---|
| 单变量 | 同时改标题+按钮+表单 | 每次只改一处，其他保持不变 |
| 预先定样本量 | 看着数据差不多就停 | 开测前算好，到点才停 |
| 不中途偷看 | 每天看一次数据 | 测试期结束后一次性读结果 |
| 流量均匀分流 | 工作日只跑一半时间 | 完整覆盖至少一个完整周 |
| 排除异常流量 | 把内部测试流量算进去 | 过滤内部IP和爬虫流量 |
测试周期要覆盖至少一个完整周。B2B买家的行为在工作日和周末差异很大：周中是采购经理在调研，周末可能是随便浏览的人。只跑周一到周五，会错过周末流量的特征；只跑一个周末，样本又不代表工作日。最短测试周期建议7天，最好14天，以消除星期几的波动。
五、小流量站的替代方案
很多B2B独立站月访问量只有三五千，按上面的样本量要求，一个测试要跑三个月，根本不现实。这时候硬做A/B测试是浪费时间，应该换方法。
| 月访问量 | 推荐方法 | 不推荐方法 |
|---|---|---|
| 低于5000 | 用户访谈5-8个、热力图、录屏分析 | 严格A/B测试（跑不出显著） |
| 5000-2万 | 单变量测试，测大提升（30%+） | 测小变量差异（10%以内） |
| 2万-10万 | 可以常规跑A/B测试，每月1-2个 | 同时跑3个以上测试 |
| 10万以上 | 多变量测试、分流量测 | — |
小流量站的正确姿势是用定性方法替代定量测试：找5至8个真实买家做20分钟访谈，问他们”你在这个页面上找什么、为什么没填表单”；再用录屏工具看几十个真实访客的行为回放。这些方法在小流量下比A/B测试给出的答案更可靠。
性能基线见Core Web Vitals，先把加载速度这种硬问题解决，再谈精细化测试。
FAQ 常见问题
A/B测试一次应该测几个变量？
跑多久、多少访问量才算够？
怎么判断A/B测试结果真的赢了？
按钮颜色换成红色真的能提高转化吗？
月流量只有几千，要不要做A/B测试？
A/B测试要过滤哪些流量？
写在最后
A/B测试这件事，听起来是科学方法，实际上拼的是执行纪律。绝大多数团队做不出可靠的测试结论，不是因为不懂统计学，而是因为太着急——急着想看到结果、急着宣布赢了、急着同时测好几个变量。把纪律守住，一个测试只改一个变量、跑够样本量、到点再读结果，半年下来你积累的是一套可复用的优化经验。
落地三步：先按”影响大小”排变量优先级，从首屏标题开始测；开测前用样本量计算器算好每组需要多少访问、跑多少天；测试期间不偷看，到点算p值，显著就上线、不显著就保留原版。月流量低于5000的站，先别碰A/B测试，用用户访谈和热力图代替。
一句可以记住的话：A/B测试最贵的成本不是工具费，而是你跑了半年却什么都没测出来——一次只测一个变量、跑够样本量再下结论，这两条纪律比任何工具都重要。