Пускать ли AI-краулеров на корпоративный сайт: решение по robots.txt и выбор в пользу GEO

Сначала вывод: Если корпоративный сайт блокирует AI-краулеров, он добровольно отказывается от возможности попасть в ответы ChatGPT и Gemini— ведь большая модель не может сослаться на то, чего не читала. Правильный подход —разделить доступ по типам: поисковых и цитирующих краулеров пропускать, обучающих держать под наблюдением, сканирующих и атакующих блокировать. Сплошная блокировка — самая частая и самая дорогая ошибка в настройке.

1. Как возникает блокировка по умолчанию

Всё начинается с контринтуитивного факта:многие корпоративные сайты не знают, что блокируют AI-краулеров.

Три распространённых сценария:

Ситуация	Что произошло	Последствия
Плагин безопасности включён по умолчанию	В некоторых плагинах безопасности и файрволах есть опция «блокировать AI-краулеров», включённая по умолчанию	AI-краулеры отклоняются на всём сайте
robots.txt в шаблоне или теме	В правилах по умолчанию прописан запрет для AI-краулеров	Об этом долго никто не знает
Владелец сайта добавил вручную	Заблокировал сам, чтобы «контент не использовали бесплатно»	Добровольно отказался от входа в цитирование

Как проверить (за 30 секунд):

浏览器打开 https://你的域名/robots.txt

Затем поищите в файле эти ключевые слова UA:GPTBot、ClaudeBot、PerplexityBot、Google-Extended、CCBot、anthropic-ai.

Если встречается Disallow: / и стоит сразу после этих UA, значит краулер у вас заблокирован.

2. Сначала разделите краулеров на три типа

ИИ-краулеры — не единая группа: по назначению они делятся на три типа, и подход к каждому свой.

Первый тип: поисковые и цитирующие (рекомендуется пропускать)

Эти краулеры в реальном времени ищут контент на страницах по запросу пользователя и ссылаются на него как на источник ответа. Они приходят к вам, чтобы процитировать вас в ответе.

Краулер	Принадлежит	Что даёт	Рекомендация
GPTBot	OpenAI	Поиск и цитирование в ChatGPT	✅ Пропускать
OAI-SearchBot	OpenAI	Результаты поиска ChatGPT	✅ Пропускать
ChatGPT-User	OpenAI	Запросы пользователей в реальном времени	✅ Пропускать
ClaudeBot	Anthropic	Поиск Claude	✅ Пропускать
PerplexityBot	Perplexity	Поиск и цитирование Perplexity	✅ Пропускать
Applebot-Extended	Apple	Apple Intelligence	✅ Пропускать

Ключевой критерий: Это и есть вход в GEO. Заблокировать их — значит сказать AI «не цитируй меня». А AI не может сослаться на то, чего не читала, — это жёсткое техническое условие, без исключений.

Второй тип: обучающие (можно пропускать выборочно)

Эти краулеры собирают контент для обучения больших моделей, а не для поиска и цитирования в реальном времени.

Краулер	Принадлежит	Что даёт	Рекомендация
Google-Extended	Google	Обучение модели Gemini	⚠️ Наблюдать
CCBot	Common Crawl	Публичный корпус текстов	⚠️ Наблюдать
anthropic-ai	Anthropic	Обучение Claude	⚠️ Наблюдать

Логика решения: Блокировка обучающих краулеров защищает контент от использования в обучении моделей, но есть побочный эффект —часть обучающих корпусов одновременно служит источником данных для поиска(Common Crawl используется некоторыми поисковыми системами). Его блокировка может защитить контент, но сократить шансы на цитирование.

Для большинства B2B-компаний, выходящих на зарубежные рынки, рекомендуем разрешить: контент вашего сайта и так является публичным рекламным материалом, его использование для обучения не нанесёт реального ущерба, а цитирование принесёт коммерческую выгоду.

Третья категория: сканеры и атаки (рекомендуется блокировать)

Это не AI-краулеры, но их часто с ними путают, и им не место в списке разрешённых.

Тип	Особенность	Действие
Сканеры уязвимостей	Частые запросы к определённым путям (`/wp-login.php`、`/.env`、`/admin`)	Блокировать или ограничить скорость
Вредоносный сбор данных	Игнорирует robots.txt, массово выкачивает полные тексты	Ограничить скорость или заблокировать IP
Маскировка краулера	UA выдаёт себя за Googlebot, но IP не из официального диапазона	Проверить IP и заблокировать

Важное различие: Открыть доступ для ИИ-краулеров не создают угрозы безопасности. Такие краулеры, как GPTBot и ClaudeBot, только читают публичные страницы: не отправляют формы, не заходят в админку, не выполняют административных действий. Реальная угроза безопасности исходит от третьей категории — это совершенно разные потоки трафика.

III. Пример настройки robots.txt

Подход к настройке для сайта B2B-компании, выходящей на зарубежные рынки:

# ===== 检索与引用型：放行（GEO 入口） =====
User-agent: GPTBot
Allow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: ChatGPT-User
Allow: /

User-agent: ClaudeBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: Applebot-Extended
Allow: /

# ===== 训练型：默认放行（可按需改为 Disallow） =====
User-agent: Google-Extended
Allow: /

User-agent: CCBot
Allow: /

# ===== 常规搜索引擎 =====
User-agent: Googlebot
Allow: /

User-agent: Bingbot
Allow: /

# ===== 默认规则：放行公开内容，屏蔽敏感路径 =====
User-agent: *
Allow: /
Disallow: /wp-admin/
Disallow: /wp-login.php
Disallow: /?s=
Disallow: /search/

Несколько важных моментов:

Главное	Пояснение
Порядок	Правила для конкретных UA должны идти перед правилом с подстановочным знаком `*`, иначе они могут быть перекрыты
Чувствительные пути	Админку, страницы результатов поиска и страницы с параметрами следует закрыть, чтобы не тратить краулинговый бюджет впустую
Карта сайта	Указать в конце robots.txt `Sitemap: https://域名/sitemap.xml`
Проверка	После настройки открыть `/robots.txt` и убедиться в отсутствии синтаксических ошибок

IV. Что делать после разрешения

Разрешить AI-краулеры — это только первый шаг. Он решает вопрос “может ли AI прочитать ваш контент”, но не “будет ли AI ссылаться на вас”.

Полная цепочка действий:

Шаг	Действие	Цель	Способ проверки
1	Разрешить AI-краулеры в robots.txt	Открыть доступ	Открыть /robots.txt и проверить
2	Убедиться, что сервер не блокирует на уровне WAF	Исключить блокировку на промежуточном уровне	Проверить логи сервера на записи о сканировании
3	Отправить и поддерживать карту сайта	Помочь обнаружить страницы	Покрытие индекса в Search Console
4	Структурировать контент в удобную для выдержек форму	Повысить вероятность цитирования	Выводы, списки, таблицы, FAQ
5	Добавить структурированные данные Schema	Чтобы машина точно понимала поля	Проверить инструментами для тестирования расширенных результатов
6	Создать фиксированный набор вопросов и вести ежемесячный мониторинг	Измерять эффект цитирования	Проверять одну и ту же группу вопросов в 5 AI-сервисах

Напоминание о шаге 2: Иногда в robots.txt краулеры уже разрешены, но CDN или WAF их блокирует. Способ диагностики — проверить в логах доступа сервера, есть ли запросы с этими UA:если в robots.txt доступ разрешён, но в логах нет ни одной записи о сканировании, проблема на промежуточном уровне.

V. Как отслеживать результат

Эффект от разрешения AI-краулеров оценивают по трём сигналам:

Сигнал	Где смотреть	Ожидаемое изменение
Частота сканирования	Логи доступа сервера	В течение 1–4 недель после разрешения появляются записи о сканировании и их число постепенно растёт
Индексация и включение в индекс	Search Console	Число проиндексированных страниц стабильно растёт
Доля цитирований в AI	Ежемесячный мониторинг фиксированного набора вопросов	Через 2–3 месяца начинают появляться цитирования

Как составить фиксированный набор вопросов:

1. Соберите 20–30 вопросов, которые клиенты действительно задают (“порекомендуй поставщика XX в Китае”, “как выбрать оборудование с характеристиками XX”)
2. Каждый месяц проверяйте одну и ту же группу вопросов в 5 AI-сервисах (ChatGPT, Gemini, Perplexity, Doubao, Kimi и др.)
3. Фиксируйте: упоминается ли бренд, на каком месте, какие конкуренты упомянуты рядом
4. Сравнивайте динамику по месяцам

Это единственный способ напрямую измерить эффект от GEO. Без этих данных вопрос “работает ли GEO” навсегда останется без ответа.

Шесть. Чек-лист для принятия решений

Сжимаем всё вышесказанное в таблицу готовых решений:

Тип краулера	Рекомендация по умолчанию	Когда менять
GPTBot / OAI-SearchBot / ClaudeBot / PerplexityBot	✅ Пропускать	Блокировать почти не рекомендуется (блокировка = отказ от GEO)
Google-Extended / CCBot	✅ Пропускать	Можно блокировать при явной необходимости защитить контент
Сканеры / частый вредоносный сбор	❌ Блокировать	—
Обычные поисковые системы	✅ Пропускать	—

Принцип в одну строку: Открывайтесь тем, кто хочет на вас ссылаться, блокируйте тех, кто хочет вас атаковать. Если перевести этот принцип в конкретный список UA, в настройке robots.txt не останется двусмысленности.

FAQ: частые вопросы

Не приведёт ли пропуск AI-краулеров к тому, что контент просто “растащат”?

Нужно различать “растаскивание” и “цитирование”.Цитирование— это когда AI упоминает вас в ответе и указывает источник, и читатель благодаря этому узнаёт о вашем бренде. Это даёт охват и потенциальных клиентов, а не убытки.Растаскивание обычно означает, что кто-то массово собирает ваш контент для однотипной конкуренции. Это третий тип — вредоносный сбор, и его нужно блокировать. Это совершенно разные объекты, и стратегии работы с ними тоже должны различаться. Контент на сайте большинства выходящих на зарубежные рынки B2B-компаний — это открытые рекламные материалы, и цитирование приносит выгоду, а не убытки.

Повлияет ли блокировка GPTBot на мои позиции в Google?

Нет. GPTBot — это краулер OpenAI, он не связан с системой ранжирования Google. Но важно различать:Блокировка Google-Extended влияет на использование контента для обучения Gemini, но не влияет на позиции в поиске Google(в поиске Google используется Googlebot). Если вы заблокируете Googlebot, это напрямую повлияет на позиции в Google — это совсем другое, не путайте.

grep -i "GPTBot|ClaudeBot|PerplexityBot" access.log

Как убедиться, что AI-краулеры действительно приходят?

Проверьте логи доступа к серверу, поищите ключевые слова UA: если robots.txt уже разрешает доступ, но в логах записей нет вообще, проверьте два уровня: ① не блокирует ли CDN / WAF; ② нет ли чёрного списка UA в файрволе сервера. Эти два места часто упускают из виду.

Не замедлит ли пропуск AI-краулеров сайт?

Обычно влияние ничтожно. Частота обхода у этих краулеров, как правило, ниже, чем у основных поисковых систем, и они соблюдают настройки Crawl-delay robots.txt. Если частота обхода аномально высокая (например, десятки запросов в секунду с одного IP), скорее всего это не легальный AI-краулер, а замаскированный сборщик данных — его нужно ограничивать по скорости или блокировать на уровне WAF.

Через сколько вступают в силу изменения в robots.txt?

Обычно от нескольких часов до нескольких дней. Поисковые роботы периодически перечитывают robots.txt, но фиксированного цикла обновления нет. После внесения изменений можно проверить так: ① открыть /robots.txt и убедиться, что содержимое файла обновилось; ② посмотреть в логах сервера, когда появились AI-роботы. Важно:robots.txt — это «протокол запроса», а не принудительный механизм— добросовестные роботы его соблюдают, вредоносные — нет. Там, где нужно реальное принуждение, подключайте уровень WAF.

Если мой сайт — SPA или рендерится через JS, смогут ли AI-роботы прочитать содержимое?

Это реальный риск.Часть AI-роботов не выполняет JavaScript, и если содержимое страницы полностью зависит от фронтенд-рендеринга на JS, робот может увидеть пустую страницу. Решение — серверный рендеринг (SSR) или статическая предгенерация. Как проверить: возьмите curl и посмотрите исходный код страницы — есть ли основной текст в HTML. Если там только <div id="app"></div>, а реального содержимого нет, значит проблема есть.

В заключение

Технически, чтобы пропустить AI-роботов, достаточно изменить несколько строк в robots.txt, но это решает одну вещь:попадёте ли вы в ответы AI.

Порог кажется низким, но множество корпоративных сайтов из-за настроек по умолчанию, неверно настроенных плагинов или недоразумений остаются за дверью и даже не подозревают об этом.

Советуем сделать одно дело уже сегодня: откройте свой robots.txt и поищите GPTBot. Если найдёте Disallow, вы уже нашли точку оптимизации, которая не требует бюджета, сроков и начинает накапливать результат сразу после правки.