GEO実験設計：仮説・変数・アトリビューション手法

GEO実験設計：仮説・変数・アトリビューション手法

1. GEOに実験設計が必要な理由：「公開して効果を見る」ではダメなわけ

従来のSEOには検索結果ページがあり、順位の変動を日次で追跡でき、競合の同時期の変化とも比較できました。GEOが向き合うのは大規模モデルが生成する自然言語の回答です。同じ質問でも今日と明日で答えが変わるかもしれません。IP、アカウント、タイムゾーンを変えても答えは変わり得ます。固定したものさしと対照設計がなければ、チームはこんなループに陥ります。今月は引用が増えてチームで喜ぶ。来月は減って、どこかの記事がまずかったのではないかと疑い始める。その間、結論は何も出ません。

これはリードアトリビューションの難しさと同じ構造です。タッチポイントが多く、経路が長いため、アトリビューションを設計しなければ感覚に頼るしかありません。違いは、GEOの「ユーザー」がモデルである点です。行動はより安定していますが、より見えにくい。だからこそ、人為的に統制された実験を設計し、ブラックボックスに少しだけ隙間を開ける必要があります。

2. ステップ1：実験開始前に仮説を固め切る

GEOの仮説は反証可能でなければなりません。合格する仮説の例：「FAQモジュールに数字入りの比較データを3件追加した後、対象問題セットでブランドの引用率がベースラインX%からY%以上に向上する」。不合格な仮説の例：「コンテンツを最適化してAIにもっと引用されたい」。後者は反証できないため、実験になりません。

仮説は具体的な変数に落とし込む必要があります。変数は3層に分かれます。ページ層（タイトル、H2構造、冒頭の回答、表の密度、Schemaマークアップ）、サイト層（内部リンク構造、クロール頻度、ページ権重の伝播）、外部層（第三者サイトから引用される事実源、Wikipedia／百科事典の項目、プレスリリース）。3層の変数を1回の実験に混ぜてはいけません。問題集の決め方は、固定質問セットの月次モニタリングとサイト内検索queryの挖掘のやり方を参考にしてください。

三、ステップ2：変数の制御と対照設計

実験設計の核心は「他の変数を変えないこと」です。B2B独立サイトはトラフィックが少なく、厳密なA/Bバケットテスト（ユーザーの半分を旧版、半分を新版に振り分ける）は難しいため、GEO実験では時系列対照をよく使います。まず2週間のベースラインを測定し、次に変更を公開し、さらに6週間測定して、変更前後の差分を見ます。

必ず固定すべき3つの交絡要因：第一に、問題集を変えないこと。言い回しさえ変えない。第二に、サンプリング環境を変えないこと。同じ地域、同じアカウント状態、同じ日の同じ時間帯で実行する。第三に、対照群のqueryを残すこと。変更と無関係な中立queryをいくつか選んで一緒に実行し、それらも変化していれば、モデルのバージョン更新や業界ノイズが原因であり、あなたの成果ではありません。コンテンツの階層化の書き方は、事実／意見／主張の3層コンテンツ。

四、ステップ3：サンプリング方法と4つの核心指標

各queryは1回だけ聞いてはいけません。大規模モデルには温度パラメータがあり、同じ質問を3回連続で聞くと引用源が異なることがあります。標準的なやり方は、各queryを3回聞き、回答にあなたのドメインが出現した回数を集計し、最頻値をそのqueryの結果とします。3回のうち2回以上出現した場合のみ「被引用」とみなします。毎週決まった時間帯に1ラウンド実行し、平日と週末のトラフィック差が判断を汚染するのを避けます。

4つの主要指標を優先順位で並べます。引用率（対象クエリの回答に自社ドメインが含まれる割合）、初回引用順位（回答内で何番目に言及されるか。1番目が最も重い）、ブランド名出現率（回答に会社名・製品名が正しく出ているか）、ネガティブ誤記率（回答に事実誤認がないか）。モニタリングパネルの作り方はこちらAIエンジン引用モニタリングパネル。

五、ステップ4：要因の切り分け。市場全体のノイズを排除する

実験終了後、まず対照群のクエリを見ます。対照群も全体で5ポイント上がっていれば、モデルのバージョン更新や業界の盛り上がりによる市場全体の変動であり、本当の純増分からこの分を差し引く必要があります。純増分=実験群の変化から対照群の変化を引いた値。この純増分がしきい値に達して初めて、今回の施策が有効と判断します。

もう一つのよくある落とし穴は「相関は因果ではない」ということです。たとえばページを変更したのと同じ時期に、業界で同種のニュースが出て、AI回答が自社を引用する頻度が上がったとします。これはニュースが引き起こしたもので、ページ変更の成果ではないかもしれません。この場合は今回の実験を「保留」とマークし、次のラウンドで同じ変更を繰り返して再現するか確認します。1回の再現で検証、2回の再現で結論とします。ファクトソースの選び方はこちらサイト外ファクトソースとAI回答。

六、実験のリズム：一人チームのスケジュールの組み方

小規模チームは3つの実験を同時に始めないこと。おすすめは四半期ごとのリズムで、四半期ごとに主軸の仮説を1つ、6から8週間で走り切ります。走らせながら毎週固定で質問セットのモニタリングを行い、日常メンテナンスでは対象ページに手を加えません。四半期をまたいで同じクエリ群を使い回すことで、年間トレンドが見えます。複数人で協力する場合のコンテンツ制作とAI・人手の境界線の決め方はこちらAIコンテンツと人手の境界線。

FAQ よくある質問

最後に

GEOと従来のSEOの最大の違いは、その「結果」がモデルが生成する自然言語の中に隠れていて、ランキングのように数字が一行で目の前に並ぶわけではないことだ。見えないからこそ、実験をプロセスにする必要がある。固定した質問セット、変数の統制、ベースラインの確保、期間をフルに回すこと、全体相場を差し引くこと。これができなければ、チームは毎月「良くなった気がする」と「悪くなった気がする」の間で揺れ動き、一年経っても蓄積できる結論は何も残らない。

実行は最小の閉ループから始めるのがいい。この四半期は仮説を一つだけ立て、質問セットを30件作り、2週間ベースラインを回し、変数を一つ変え、6週間観測する。四半期で一つの閉ループを回し切るほうが、十の「GEO最適化施策」を同時に広げるよりはるかに役に立つ。GEOの複利は再現可能な実験手法から生まれるのであって、場当たり的な試みからは生まれない。

覚えておきたい一言。対照群のないGEO最適化は、目隠しをしてシュートを打つようなものだ。入るかどうかは運次第で、次の試合もまたゼロから始まる。