AIクローラーのログ分析：サーバーログから、どの大規模モデルに読まれているかを知る

AIクローラーのログ分析：サーバーログから、どの大規模モデルに読まれているかを知る

1. なぜログは順位ツールより早くシグナルを出すのか

多くの企業がGEOの効果を判断する方法は、いくつかの質問を検索してAIが自社に言及しているかを見るというものです。この方法の問題は、サンプルが少なすぎ、期間が長すぎ、結論が信頼できないことです。「引用されなかった」理由が「読まれなかった」からなのか「読まれたが選ばれなかった」からなのかを区別できません。

一方、サーバーログはもっと手前の問題に答えてくれます。彼らはそもそも読みに来たのか？

タイムラグはおおよそ次のとおりです。

最初に観測できるシグナルはログに現れ、最終結果より6〜12週早いです。つまり、ログを見なければ「何のフィードバックもない」状態で2か月間盲目的に待つことになりますが、ログを見れば最初の週に「経路は通っている」と確認できます。

「経路が通っているかどうか」はGEOの第一の問題です。ログにAIクローラーのアクセス記録がまったくなければ、コンテンツをどれだけ良く書いても結果は出ません。問題はコンテンツではなく経路（robots.txt、CDN、WAF、サーバー設定）にあります。

2. 5種類のAIクローラーの正体と意味

まず「誰が見ているか」を解決します。現在の主要な AI 関連クローラーは5種類に分けられ、対応策も意味もまったく異なります。

最も注目すべき3種類のクローラーを、優先度順に並べると：

1. ChatGPT-User類—— 出現は「誰かがあなたのリンクを AI に貼った」ことを示す、最も強い意向シグナル
2. OAI-SearchBot/PerplexityBot—— 出現は検索レイヤーの候補範囲に入ったことを示す
3. GPTBot/Google-Extended—— 長期的なコーパス蓄積、短期的には直接引用を生まない

識別方法：UA 文字列だけで判断しないでください。偽装可能だからです。二重チェックを推奨します：

なかでも「逆引き DNS + IP レンジ照合」が真偽判断の鍵です。多くの SEO ツールは UA を偽装してページを取得し分析します。検証しないと、ログに「AI クローラーが活発」という誤った像が現れます。

三、ログ分析の4ステップ

ステップ1：抽出

Web サーバー（Nginx / Apache）または CDN ログから、クローラーと思われるリクエストをすべて抽出します。

よくある問題：ログが7日分しか保存されていない。ログの保存期間を90日以上に調整することを推奨——AI クローラーの取得頻度は低く、サンプルが少なすぎると結論が出せないため。

ステップ2：分類

リクエストをクローラー種別、ページパス、ステータスコードで分類します。

ステータスコードの軸が最も見落とされやすい。もしOAI-SearchBotのリクエストが大量に403（Forbidden）を返すなら、CDN や WAF が遮断しています——robots.txt では許可しても実際の経路が塞がれ、結果は「許可したつもりが一度も読まれていない」。

ステップ3：集計

5つの主要指標（次のセクションで詳述）を算出し、週次でトレンドを比較します。

ステップ4：解釈

統計結果をアクションに結びつけます：

4. 5つの主要指標と判断基準

このうち「新規ページの初回クロール時間」が最も実用的な運用指標です。これは「経路の健康度を測る体温計」のようなものです。新しい記事を公開し、日数を数えます。7日以内にクロールされれば経路は健康、2〜3週間動きがなければ問題があり調査が必要です。

補足指標（コンバージョン計測システムがある場合）：「AI経由の訪問」を集計します。これにはサーバーまたはフロントエンドでreferrerAIプロダクトからのトラフィックを追跡する必要があります（例：chat.openai.com、perplexity.ai）。こうした訪問数は通常ごくわずかですが、意図度が極めて高い——ユーザーはAIの回答であなたを見てクリックしてきたのです。

5. よくある4つの誤解

2番目と3番目は純粋に技術的な問題ですが、影響は大きいです：

• CDNキャッシュ：CDNが「HTMLをキャッシュ」する設定の場合、大量のクローラーリクエストはオリジンに届かず、オリジンのログでは実際のクロール量がわかりません。正しい対応は CDN ログを確認するか、HTML をキャッシュしない（または短時間キャッシュにする）ことです。
• JS レンダリング：一部の AI クローラーと検索エンジンクローラーは JavaScript を実行しません。製品パラメータや仕様表をフロントエンドの JS で読み込んでいる場合、空のページを読んでいる可能性があります。これは「コンテンツはあるのに引用されない」よくある原因の一つです。

検証方法：用curlでページを直接取得し（JS を実行せず）、返ってくる HTML に重要なコンテンツが含まれているか確認します。含まれていなければ、サーバーサイドレンダリングを行うか、重要コンテンツを静的出力に変更する必要があります。

六、ログからコンテンツ施策へ

ログの価値は「何を直すべきか」に答えてくれることです。以下がその対応関係です：

実際の運用ペースの提案：

FAQ よくある質問

最後に

GEO で最も不安になるのは「見えない」ことです。広告のようにリアルタイムのクリックデータがあるわけでも、SEO のように順位を追えるわけでもありません。そこでサーバーログがこの空白を埋めてくれます。

「引用されたかどうか」は分かりませんが、もっと重要な3つのことを教えてくれます。経路が通っているか、コンテンツが読まれたか、どのページが読まれているか。

この3つの答えがあれば、GEOは「勘で書くコンテンツ」から「フィードバックのあるエンジニアリング」に変わります。これが、この取り組みを確実なものにする出発点です。