GEO実験の設計：対照群、指標の選び方、サンプル数と統計的有意性
一、「上がった下がった」はGEOでは結論にならない理由
ECのA/Bテストなら1日で数千回のインプレッションが貯まり、1週間で有意性が出せます。GEOは同じ問題セットをAIに繰り返し聞くため、総サンプル数が本質的に小さくなります。query 30件を3回聞いても90回の観測です。この小さなサンプルで「改修前20%、改修後28%」を直接比べても、8ポイントの差はその週のモデルの気まぐれな変動かもしれません。
だからGEOはインターネットのA/Bテストのp値の手順をそのまま流用できません。「純増分+再現」の判定フレームに切り替えます。まず全体と競合の同期間変化を差し引いて純増分を出し、その純増分が次の反復実験でも再び現れることを求めます。GEO実験の基本設計の考え方はGEO実験の設計：仮説、変数、アトリビューションを参照してください。本記事は統計面の細部だけを補います。
| やり方 | 問題 | 正しい方法 |
|---|---|---|
| 改修1週間で上がった下がったを見る | サンプルが小さすぎてランダム変動 | 6〜8週回してベースラインを差し引く |
| 改修前後だけを比べる | 全体を差し引いていない | 競合の同期間対照を加える |
| 大きなサンプルを追い求める | queryをかき集めて新しいノイズを持ち込む | 30〜50件に固定 |
| p値で結論を出す | 小サンプルのp値は不安定 | 純増分+再現で判断 |
| 上がったらそのまま定着 | バージョン更新の可能性がある | 2回再現して初めて結論 |
二、指標の選び方：主指標1つ、ガードレール2つ
指標は欲張ってはいけません。1回の実験で主指標は1つだけ決めます。そうしないと結果が出たときに都合のよいものだけ報告することになり、やっていないのと同じです。GEOで最もよく使う主指標は被引用率、つまり対象queryの回答に自社ドメインやブランド名が含まれる割合です。
ガードレール指標は2つあり、主指標の「偽の勝利」を防ぐ役割があります。1つ目は初回引用順位です。被引用率が上がっても1位から5位に落ちたら勝ちではありません。2つ目は事実誤述率です。被引用率が上がっても回答が製品スペックを間違え始めたら、それは勝利ではなく災難です。主指標が上がり、どちらかのガードレールが悪化したら実験は負けです。
| 指標レイヤー | 指標 | 定義 | しきい値の目安 |
|---|---|---|---|
| 主指標 | 引用率 | 回答があなたのドメイン／ブランドを引用した割合 | 純増10pp以上 |
| ガードレール1 | 初回引用順位 | 回答内で何番目に言及されたか | 1位を超えて下がらない |
| ガードレール2 | 事実誤認率 | 回答内であなたに関する事実が誤っている割合 | 5%以内 |
| 参考 | ブランド名出現率 | 回答がブランド名を正しく書いているか | 上向き傾向であればよい |
シナリオ例：FAQモジュールに数字入りの比較を3件追加し、6週間運用したところ、引用率が18%から31%に上昇、純増13ポイント。しかし回答を確認すると、4件のクエリで自社製品の価格が誤って記載されていた。この場合、主指標はしきい値を超えたが、ガードレール2がレッドラインを突破したため、実験は不合格となる。トラフィックは得たが誤情報を拡散してしまったので、次のバージョンではまず事実を修正してからFAQを拡充すべきだ。
三、対照群の設計：時系列と競合の二重差し引き
B2B独立サイトはトラフィックが少なく、厳密なバケット分割A/Bテストはできない。GEOでは対照群を2種類よく使う。1つ目は時系列対照で、まず2週間のベースラインを測定し、変更をリリースしてから6週間測定し、変更前後の差分を見る。2つ目は競合対照で、同業種で自分の変更と無関係な競合を2〜3社選び、同じ期間に同じ問題セットを実行し、彼らの引用率が同時に変化したかを見る。
2つの対照を併用するのが最も安定する。純増は自分の変化からベースラインの変化を引き、さらに競合の同期間の変化を引いたものだ。自分が13ポイント上がっても、競合が同期間に8ポイント上がっていれば、真の純増は5ポイントしかなく、しきい値の10に届かない。競合コンテンツとのベンチマーク方法は次を参照：競合コンテンツギャップの30クエリ分析。
| 対照方式 | やり方 | 何を差し引けるか | 限界 |
|---|---|---|---|
| 時系列 | まず2週間ベースライン、その後6週間観測 | 自身の週次変動 | 業界全体の動きは差し引けない |
| 競合同期間 | 2〜3社の競合が同じ問題セットを実行 | モデルバージョン／業界の熱量 | 競合が自分のクエリに含まれないと測定困難 |
| 中立クエリ対照 | 無関係なクエリ5〜8件 | 純粋なモデルノイズ | 業界トレンドを反映しない |
| 組み合わせて活用 | 時系列＋競合＋中立 | 3層のノイズをすべて差し引ける | サンプリングコストがやや高い |
四、サンプルサイズと実験期間
サンプルサイズは大きければよいわけではない。GEOのサンプルサイズは問題集の数に制限され、30〜50クエリが1人チームのスイートスポットだ。各クエリを3回実行して最頻値を取れば、1ラウンドで90〜150回の観測になる。無理にクエリを200件に増やしても、追加分は実験変数と無関係なことが多く、シグナルを薄めるだけだ。
本当に伸ばすべきは期間だ。モデルには週次の変動があり、6〜8週間の実験期間なら1〜2の完全な変動サイクルをカバーできる。4週間未満の実験は、結論を参考程度にしか扱えない。フォームA/Bテストのサンプルサイズの考え方は対照として参考になる：フォームA/Bテスト：変数とサンプルサイズ、ただしGEOのサンプルサイズ制約はより厳しい。
| 実験期間 | 観測週数 | 信頼性 | 向いている場面 |
|---|---|---|---|
| 4週未満 | 1〜2週間 | 参考程度 | 予備実験の摸底 |
| 6週 | 4週観測 | 初步的に信頼可 | 通常のGEO実験 |
| 8週 | 6週観測 | やや安定 | 重要な変更の意思決定 |
| 10週超 | — | すでに古くなっている可能性 | 回避、モデルが変わっている |
五、有意性判断とよくある誤判定
小規模データではp値に頼りすぎないこと。GEOで実用的な判定は3つを同時に満たすことです。純増が10ポイント以上、2週間連続で落ち込まない、次回の再実験で再現できる。1回の再現は検証、2回の再現で初めて結論です。
避けるべきよくある誤判定が3つあります。1つ目は1回走らせただけで成功と宣言し、サンプリングのランダム性を無視すること。2つ目は対照群の変動を差し引かず、全体の上昇を自分の成果と見なすこと。3つ目は主指標が上がったのを見て止まり、ガードレール指標の確認を忘れること。問題セットをどう長期的に再利用するかは次を参照。固定質問セットの月次モニタリング。
| 状況 | シグナル | 判定 |
|---|---|---|
| 純増10pp以上かつ再現 | 主指標がしきい値を超え、ガードレールは安定 | 施策が有効、定着させる |
| 純増10pp以上だがガードレールが低下 | 引用されたが事実を誤って説明 | 不合格、まず事実を補う |
| 上がったが競合も上昇 | 市場全体が同時に変動 | 差し引き後はしきい値未満、無効 |
| 1回走らせただけで上昇 | 単回サンプリングのランダム性 | 保留、再現が必要 |
| 純増5pp未満 | ノイズの範囲 | 何もせず、観察を続ける |
FAQ よくある質問
GEO実験で通常のA/Bテストのp値が使えないのはなぜか？
サンプル数は多ければ多いほどよいですか？queryを多めに用意したほうが安定しますか？
主指標とガードレール指標はどう選びますか？
大量トラフィックがないとバケット分割のA/Bはできませんが、GEOはどう対照を取りますか？
純増がいくつになれば本当に有効と言えますか？
実験の途中でモデルがアップグレードされたらどうする？
最後に
GEO実験の統計的思考は、インターネット成長チームのA/Bテストと表面的には似ていますが、本質はまったく異なります。インターネットのテストが賭けるのは大サンプル下のランダム比較、GEOが賭けるのは小サンプル下の長期的な再現です。サンプルが小さいなら無理にp値を計算せず、実験を長くし、比較を揃え、しきい値を固定したほうが、かえって結論は信頼できます。
実行は3ステップ。四半期ごとに主指標を1つ（被引用率を推奨）とガードレールを2つだけ決める。時系列と競合の二重比較で純増を差し引く。純増が10ポイント以上かつ2回再現できたら定着させる。併用する方法はこちらGEO実験設計とGEO実践。
覚えておきたい一言。GEOでは「上がった」は無意味で、「全体を差し引いても上がり、次回も再現できる」が意味を持つ。小サンプルが頼るのは規律であり、運ではない。