固定问题集月度监测：AI 引用率怎么量化

固定问题集月度监测：AI 引用率怎么量化

一、GEO 最容易被糊弄的地方是”效果无法证伪”

GEO 服务里最常见的说法是”AI 现在会提到你们了”。这句话几乎无法反驳——换一个问题、换一个模型、换一天去问，结论就可能相反。它既不能证明有效，也不能证明无效。

问题出在采样方法上：临时想一个问题、问一次、看一眼答案。这种做法的样本量是 1，随机性远大于信号，用单次结果做结论，等于抛一次硬币。

要让它可证伪，需要把四件事固定下来：

这套方法的目标不是算出”引用率是 23%”这种精确数字，而是判断方向。月度之间的差值在 5 个百分点以内时，不能当结论用；连续三个月的同向变化，才是信号。这个底线必须先说清楚，否则报告本身会变成另一种糊弄。它只能观测”答案里有没有你”，不能观测”有多少人看到你”——曝光与点击属于另一条链路，要分开测。这套口径是我们在多个客户站上跑出来的，环形山的方法说明里有相关索引。

二、问题集怎么构造：三档，40 条左右

问题集是这套方法的核心资产。它要满足三个条件：问法是真实买家会用的、覆盖从认知到决策的完整路径、成员相对稳定。

我们建议按三档构造，总量控制在 40 条左右：

三档的作用完全不同。第一档看认知，第二档看品类覆盖，第三档看采购环节。只测品牌词会得到虚高的结果——模型可能认识你的名字，但在买家真正做决策的问题里一次都不提你。

问题从哪里来？不要闭门造车，按下面四个来源凑：

问题集一旦定下来，就不要轻易改。需要新增时按”替换”而不是”追加”处理：新增 2 条就下掉 2 条，并标记替换时间点。否则三个月后你会面对一份无法纵向对比的清单。

三、采样纪律：五个固定项

方法是靠纪律撑住的。下面五项每次采样都要固定，任何一项变了，当期数据就要单独标注。

关于问法，有两种选择。原始问法直接输入问题原文，更接近真实使用场景，但答案更随机；加限定问法在问题后加一句”请列出供应商”，更容易触发品牌提及，但结论偏乐观。我们建议以原始问法为主，加限定问法只在判断”品类候选池”时作为补充。两者结果分开记录，不要混算成一个指标。用加限定问法得到的好看数字拿去汇报，等于自己给自己造了一个假基线。

还有一条纪律：单条问题只问一次，不重复问到满意为止。想确认某条答案是否稳定，留到下一期复测。

四、五项可量化指标的口径

指标口径必须先写死，否则每次统计都会换一种算法。下面五项是我们在用的版本。

三个口径细节要单独说明。提及率的分母是全部问题，统一分母才能跨月比较；引用来源率的分母是提到品牌的问题，否则会被大量未提及的问题稀释；答案准确率必须有人工标准，提前写一份事实核定表，列出产能、认证、起订量、交期等硬事实逐条比对。

五项指标的参考区间如下（以工业品类为例）：

五、判定规则与阈值：含”数据不足以判定”

有了数据，还要有判定规则。没有规则的报告，读的人会各自解读。我们把判定分成四档，其中一档明确叫”数据不足以判定”。

单条问题的判定：

整体结论的判定：

“数据不足以判定”是一份诚实报告的必备项。触发条件通常是三种：当期有效样本低于 30 条、模型版本更新导致答案风格整体变化、或者采样纪律被破坏（问了改写版的问题、换了账号）。这三种情况下，硬给一个结论比不给结论的伤害更大——它会让人按错误的方向调整内容。

还有一个容易忽略的判定原则：答案准确率下降要优先于提及率处理。如果模型大量提到你，但把你描述成另一类供应商，或者写错了产能与认证，那种提及是负资产。这时候第一优先级是纠正事实源，而不是继续提高提及率。

六、从监测到行动的映射

监测的价值在于它指向具体动作。下面是我们在用的映射规则，按现象直接对到动作。

这张表的用法是：每月出完报告后，只挑最靠前的一条现象去执行，不要同时改三件事。一次只改一个变量，下个月才知道改的哪一条起了作用。同时改内容结构、更新频率和事实描述，即使数据变好了也无法归因。

配套的内容侧动作主要是五种：把关键事实写成独立段落、每页补 5–8 条 FAQ、补认证与合规说明页、统一品牌表述与实体信息、补多语言版本。见效周期大多在 4–24 周之间，越靠后越慢。

七、报告模板、留存周期与不适用情形

报告要短。一页表加一份归档，足够支撑决策。

原始资料的留存要求：

留存 12 个月是有原因的：模型版本更新的影响常常滞后显现，半年后回看才发现数据出现台阶。没有原始答案，就无法判断那次变化来自内容还是来自模型。

这套方法有三种情况不适用。一是问题集的语言与目标市场不一致，用英语问题测德语市场没有意义。二是站上可被引用的内容还很初期，测了只能得到一排零，应该先做内容。三是把监测当成验收工具——它不能用来证明某一次交付”提升了多少”，一旦被这么用，采样纪律就会放松，数据也就不再可信。

FAQ 常见问题

写在最后

GEO 之所以容易变成一笔说不清的支出，是因为它没有广告那样的实时数据，也没有排名那样的明确位置。而固定问题集这套方法，本质上是用纪律换可信度——用同一组成员、同一种问法、同一个时间窗，把随机的东西变成可比的。

它给不出精确到小数点的效果承诺，也给不出”提升多少倍”的结论。它只能告诉你三件事：这个月比上个月是好了、差了，还是没变；哪些问题上有你、哪些没有；下一步该改内容、改结构，还是改事实。

能诚实说出”数据不足以判定”，这套方法才算跑通。想先把问题集建起来，可以从站上洞察栏目的选题里挑真实被问到的问题，再照上面的三档结构补齐。需要一起定问题集与指标口径，可以联系我们。