問い合わせA/Bテスト設計：変数の選び方、サンプルサイズ計算、統計的有意性
1. 変数の選び方：影響の大きいものからテストし、色から始めない
多くのチームがA/Bテストを「ボタンを赤にするか青にするか」から始めます。これは本末転倒です。ボタンの色がコンバージョン率に与える影響は通常5%以内ですが、ファーストビューのタイトルを一言変えるだけで30%以上変わることもあります。トラフィックが限られるB2Bの自社サイトは、限られたセッションを影響の最も大きい変数に使うべきです。
変数の優先度を判断する基準はシンプルです。その変数が変わったとき、買い手が続きを見るかどうかを考え直すかどうか。考え直すなら高優先度、見た目が変わるだけで意思決定に影響しないなら低優先度です。ファーストビューのタイトル、メインCTAボタンのコピー、フォームの項目数、この3つはコンバージョンの意思決定に直接影響するので最優先です。
| 優先度 | 変数の種類 | コンバージョン率への予想影響 | テストするタイミング |
|---|---|---|---|
| 高 | ファーストビューのタイトルとサブタイトル | 20%-40% | 最優先 |
| 高 | メインCTAボタンのコピーと位置 | 15%-30% | タイトルのテスト後に続けて |
| 高 | フォームの項目数（5個 vs 8個） | 15%-25% | ランディングページの核心変数 |
| 中 | 信頼要素の位置と数 | 5%-15% | 大きな変数のテスト後 |
| 中 | 事例セクションの配置 | 5%-10% | トラフィックに余裕があるとき |
| 低 | ボタンの色、フォントの微調整、余白 | 0%-5% | トラフィックが十分に大きくなってから |
フォーム関連のテストは専用の記事で解説しています。フォームのA/Bテストそちらはフォームの項目とレイアウトに焦点を当てています。本記事はより広いランディングページのテスト設計についてです。テスト前に問い合わせヒートマップ分析でどこで離脱しているかを特定してから、何をテストするかを決めましょう。思いつきの仮説でいきなりテストを始めないこと。
2. サンプルサイズの計算：どれだけセッションを走らせれば十分か
これはA/Bテストで最も飛ばされやすく、最も致命的なステップです。多くの人が今日テストを始め、3日後にB群の数値が数ポイント高いのを見て、B群の勝ちだと宣言します。この結論は90%の確率で間違っています。サンプルサイズが小さすぎて、ランダムな変動だけで偽の「有意差」が生まれるからです。
サンプルサイズは3つの数値で決まります。ベースライン転換率（現在の転換率）、検出したい最小の改善幅（例えば20%の相対改善）、統計的有意水準（通常は95%、つまりp<0.05）です。B2B独立サイトの問い合わせ転換率は通常1%〜5%の間で、下表はこの範囲の早見表です。
| ベースライン転換率 | 検出したい相対改善 | 群ごとに必要な訪問数 | 必要な期間の目安（月間1万アクセス） |
|---|---|---|---|
| 1% | 20%（1.2%へ） | 約2.5万回/群 | 50日以上 |
| 2% | 20%（2.4%へ） | 約1.2万回/群 | 25日以上 |
| 5% | 20%（6%へ） | 約4500回/群 | 9日以上 |
| 10% | 20%（12%へ） | 約2000回/群 | 4日以上 |
| 2% | 50%（3%へ） | 約3500回/群 | 7日以上 |
最後の行に注目してください。検出したい改善幅が大きい場合（例えば2%から3%へ）、サンプルサイズはかなり小さくなります。逆に「ボタンの赤と青の違い」のような5%以内の差を検出したい場合、サンプルサイズは非現実的なほど大きくなります。だからこそ小規模サイトでは小さな変数をテストすべきではありません。半年回しても統計的に有意な結論は出ません。
もう一つの経験則は、各群に少なくとも100回のコンバージョンが必要ということです。A群に5000アクセスが来て、転換率2%ならコンバージョンは100回、B群も100回です。この状態で2群のコンバージョンが数回違っても、p値はまったく信頼できません。だからこそ低トラフィックのサイトは厳密なA/Bテストよりも定性手法（ユーザーインタビュー、ヒートマップ）に向いています。実験設計の全体的な方法論はGEO実験設計の仮説と帰属の考え方を参照してください。
三、統計的有意性：結果が本当に勝ったかどうかを判断する方法
予定したサンプルサイズを集めたら、カイ二乗検定またはZ検定でp値を計算します。基準はp<0.05、つまり95%の信頼度で初めて差が有意とみなします。p値が0.05〜0.1の間なら「傾向がある」だけで結論は出せません。p>0.1なら2群の差はランダムである可能性が高いです。
もう一つのよくある落とし穴は「覗き見バイアス」です。テストの途中で我慢できずにデータを見て、B群が優勢だと分かると早期に停止してしまいます。覗き見するたびに偽陽性の確率が上がり、5回連続で覗き見すると偽陽性率は5%から20%以上に跳ね上がる可能性があります。正しいやり方は、テスト開始前にサンプルサイズとテスト期間を決め、途中では見ず、終了時に一度だけ結果を読むことです。
| p値の範囲 | 統計的な意味 | 判断 |
|---|---|---|
| p < 0.01 | 極めて有意 | 新バージョンを安心して公開できる |
| 0.01 ≤ p < 0.05 | 有意 | 公開して様子を見る |
| 0.05 ≤ p < 0.1 | 傾向はあるが有意でない | 結論を出さず、テストを延長するか中止する |
| p ≥ 0.1 | 差なし | 2群はほぼ同じなので、元のバージョンを維持すればよい |
シナリオ例：ある工業系サイトがファーストビューの見出しを「専門センサー製造業者」から「OEM機器メーカー向けに±0.1%精度の圧力センサーを提供」に変更し、テスト開始時に各グループ1万2000回の訪問が必要と算出した。10日目に、B群のコンバージョン率が2%から2.8%に上がり、p値は0.03という結果が出た。
ここで喜ぶのは早い。まず確認すべきは、各グループが1万2000回に達したかどうか。まだならサンプル数まで続行し、達していてp値が依然0.05未満なら新バージョンを公開する。
四、テスト実行の規律：一度に一つの変数だけをテストする
これが本記事の直感に反する判断だ。三つの変数を同時にテストすると、効率が三倍に見えても、実際には何も測れていないのと同じ。見出し、ボタンの色、フォームの長さを同時に変えたとしよう。B群のコンバージョン率が30%上がった。どの変更が効いたのかは分からない。見出しが当たったのかもしれないし、フォームが短くなったからかもしれないし、単にトラフィックがたまたま変動しただけかもしれない。次に別の部分を改善しようとしても、再利用できる結論が何もない。
一度に一つの変数だけをテストするもう一つの利点は、結論を積み上げられることだ。今月は見出しをテストして勝ち、来月はボタンをテストして勝ち、半年後には検証済みの最適バージョンが手に入る。複数の変数を同時にテストすると、半年後も同じ場所をぐるぐる回っているだけだ。
| 規律の要件 | 誤ったやり方 | 正しい方法 |
|---|---|---|
| 単一変数 | 見出し+ボタン+フォームを同時に変更 | 一度に一箇所だけ変え、他は変えない |
| サンプル数を事前に決める | データがそれらしくなったら止める | 開始前に算出し、到達するまで止めない |
| 途中で覗き見しない | 毎日データを見る | テスト期間終了後に一度だけ結果を読む |
| トラフィックを均等に分流 | 平日だけ半分の時間で実施 | 少なくとも一週間を完全にカバー |
| 異常トラフィックを除外 | 社内テストトラフィックを算入する | 社内IPとクローラートラフィックを除外する |
テスト期間は少なくとも一週間をカバーする必要がある。B2Bバイヤーの行動は平日と週末で大きく異なる。平日は購買担当者が調査し、週末は何となく閲覧する人かもしれない。月曜から金曜だけでは週末トラフィックの特徴を逃し、週末だけではサンプルが平日を代表しない。最短テスト期間は7日、できれば14日を推奨し、曜日による変動を消す。
五、小規模トラフィックサイトの代替案
多くのB2B独立サイトは月間訪問数が3000から5000程度しかない。上記のサンプル数要件では、一つのテストに三ヶ月かかり、現実的ではない。この場合、無理にA/Bテストをやるのは時間の無駄で、方法を変えるべきだ。
| 月間訪問数 | 推奨方法 | 非推奨方法 |
|---|---|---|
| 5000未満 | ユーザーインタビュー5〜8人、ヒートマップ、録画分析 | 厳密なA/Bテスト（有意差が出ない） |
| 5000〜2万 | 単一変数テストで大きな改善（30%以上）を測る | 小さな変数差（10%以内）を測る |
| 2万〜10万 | 通常のA/Bテストを毎月1〜2本実施可能 | 同時に3本以上のテストを実施 |
| 10万以上 | 多変量テスト、トラフィック分割テスト | — |
小規模サイトの正しいやり方は、定量テストではなく定性調査で代替することです。実在の購入者を5〜8人見つけて20分のインタビューを行い、「このページで何を探していましたか、なぜフォームを送信しなかったのですか」と聞きます。さらに画面録画ツールで数十人の実訪問者の行動を再生して確認します。小規模トラフィックでは、こうした方法のほうがA/Bテストより信頼できる答えが得られます。
パフォーマンスの基準値はCore Web Vitalsをご覧ください。読み込み速度のような根本的な問題を先に解決してから、細かいテストの話をしましょう。
FAQ よくある質問
A/Bテストでは一度にいくつの変数をテストすべきですか？
どのくらいの期間、どれくらいのアクセス数があれば十分ですか？
A/Bテストの結果が本当に勝ったとどう判断しますか？
ボタンの色を赤に変えると本当にコンバージョンが上がりますか？
月間トラフィックが数千しかない場合、A/Bテストをすべきですか？
A/Bテストではどの流入を除外すべきですか？
最後に
A/Bテストは、聞こえは科学的手法ですが、実際に問われるのは実行の規律です。ほとんどのチームが信頼できるテスト結論を出せないのは、統計学を理解していないからではなく、焦りすぎているからです。早く結果を見たくて、早く勝ちを宣言したくて、いくつもの変数を同時にテストしたくなります。規律を守り、1回のテストで変えるのは1つだけ、必要なサンプル数まで走らせ、期限が来てから結果を読む。これを半年続ければ、再利用できる最適化の経験が蓄積されます。
実行は3ステップです。まず「影響の大きさ」で変数の優先順位を決め、ファーストビューの見出しからテストします。テスト開始前にサンプル数計算ツールで各グループに必要な訪問数と実施日数を算出します。テスト期間中は途中で覗かず、期限が来たらp値を計算し、有意なら公開、有意でなければ元の版を残します。月間流入が5000未満のサイトはA/Bテストに手を出さず、ユーザーインタビューとヒートマップで代替しましょう。
覚えておきたい一言。A/Bテストで最も高いコストはツール費用ではなく、半年走らせても何も測れなかったことです。1回に1つの変数だけをテストする、必要なサンプル数まで走らせてから結論を出す。この2つの規律がどんなツールよりも重要です。