Анализ логов AI-краулеров: какие большие модели читают вас

Анализ логов AI-краулеров: какие большие модели читают вас — по логам сервера

Сначала вывод: Оценить эффект GEO самое прямое доказательство лежит не в инструментах отслеживания позиций, а в логах вашего сервера. Записи о заходах AI-краулеров — это предварительный сигнал— быть прочитанным — предпосылка, быть процитированным — результат. Когда инструменты отслеживания позиций ещё не показывают никаких изменений, по логам уже видно, верное ли направление выбрано.

1. Почему логи дают сигнал раньше, чем инструменты отслеживания позиций

Большинство компаний оценивают эффект GEO так: ищут несколько вопросов и смотрят, упомянул ли их AI. Проблема этого метода в том, что выборка слишком мала, цикл слишком долог, а выводы ненадёжны— вы не можете отличить «не процитировали» из-за того, что «не прочитали», от «прочитали, но выбрали не вас».

А логи сервера отвечают на более ранний вопрос:они вообще приходили читать?

Разрыв во времени примерно такой:

Этап	Что происходит	Где наблюдается
1-я неделя	AI-краулеры начинают заходить на новый контент	Логи сервера
2–4-я неделя	Частота обхода растёт, охватывается больше страниц	Логи сервера
Недели 4–8	Контент попадает в поисковый индекс	Напрямую не наблюдается
Недели 8–16	В ответах AI начинают появляться цитирования	Ручная проверка / инструменты мониторинга

Первый наблюдаемый сигнал появляется в логах и опережает конечный результат на 6–12 недель. Это значит: если не смотреть логи, вы будете два месяца ждать вслепую в состоянии «никакой обратной связи»; а если смотреть — уже на первой неделе убедитесь, что «канал работает».

«Работает ли канал» — первый по важности вопрос в GEO. Если в логах вообще нет записей о заходах AI-краулеров, то никакой контент, каким бы хорошим он ни был, не даст результата — проблема в канале (robots.txt, CDN, WAF, настройки сервера), а не в контенте.

2. Пять типов AI-краулеров: кто они и что означают

Сначала решим вопрос «за кем следить». Современные AI-краулеры делятся на пять типов, и стратегия работы с ними и их значение完全不同.

Категория	Представитель UA	Зачем нужен	Что это значит для вас
Поисковый	`OAI-SearchBot`、`PerplexityBot`、`ClaudeBot`(частично)	Обходит веб-страницы для ответов в реальном времени	Самый важный: если он обходит — у вас есть шанс быть процитированным
Обучающий	`GPTBot`、`Google-Extended`、`CCBot`、`anthropic-ai`	Используется для обучения моделей	Быть прочитанным не равно быть процитированным, но влияет на долгосрочный корпус
Запускаемый пользователем	`ChatGPT-User`、`Claude-User`、`Perplexity-User`	Пользователь сам просит AI перейти по ссылке	Наибольшая ценность: кто-то действительно передал вашу ссылку AI
Традиционный поиск	`Googlebot`、`Bingbot`	Индексация поисковых систем	По-прежнему основа GEO (большинство поисковых слоёв AI опираются на поисковый индекс)
Другие	Различные SEO-инструменты, мониторинг, сборщики	Сбор данных	К GEO отношения не имеет, но влияет на статистику логов

Три типа краулеров, заслуживающих наибольшего внимания, по приоритету:

ChatGPT-User тип—— означает, что «кто-то передал вашу ссылку ИИ»: это самый сильный сигнал намерения
OAI-SearchBot/PerplexityBot—— означает, что вы попали в число кандидатов на уровне поиска
GPTBot/Google-Extended—— долгосрочное накопление корпуса, в краткосрочной перспективе прямых цитирований не даёт

Как распознать: Не ориентируйтесь только на строку UA — её можно подделать. Рекомендуем двойную проверку:

Способ проверки	Как сделать
Обратный DNS-запрос	Проверить, принадлежит ли IP заявленной организации (например, диапазону IP OpenAI)
Сверка с официальным списком IP	Крупные AI-компании публикуют диапазоны IP, регулярно сверяйте с обновлениями
Поведенческие признаки	Частота обхода, закономерности путей, соблюдение robots.txt

Ключ к определению подлинности — «обратный DNS + сверка диапазонов IP». Многие SEO-инструменты маскируются под UA и обходят страницы для анализа. Без проверки в логах возникнет ложная картина «AI-краулеры очень активны».

III. Четыре шага анализа логов

Шаг первый: извлечение

Отфильтруйте из логов веб-сервера (Nginx / Apache) или CDN все подозрительные запросы краулеров.

Источник логов	Что видно	На что обратить внимание
access log сервера	Полный запрос (IP, UA, путь, код состояния, время)	Убедитесь, что логи не обрезаны ротацией
Логи CDN	Полнее (включая запросы, перехваченные кэшем CDN)	Обычно требуется включить отдельно
Логи WAF	Заблокированные запросы	Важно: видно, не блокируются ли краулеры по ошибке

Частая проблема: логи хранятся всего 7 дней. Рекомендуем увеличить срок хранения логов до 90 дней и более—— потому что AI-краулеры обходят сайт нечасто, и по слишком маленькой выборке выводов не сделать.

Шаг второй: классификация

Разложите запросы по типу краулера, пути страницы и коду состояния.

Разрез классификации	Зачем нужен
По типу краулера	Понять, какой тип ИИ вами интересуется
По пути страницы	Понять, какой контент им интересен
По коду состояния	200 (успех) / 404 (битая ссылка) / 403 (отказ) / 429 (ограничение скорости)
По распределению во времени	Обход идёт постоянно или единичными заходами

Разрез по кодам состояния игнорируют чаще всего. Если OAI-SearchBot запросы массово возвращают 403 (Forbidden), значит ваш CDN или WAF его блокирует — в robots.txt доступ разрешён, но фактический канал перекрыт, и в итоге «думали, что пустили, а на деле ни разу не прочитали».

Шаг третий: подсчёт

Посчитайте пять ключевых метрик (подробно в следующем разделе) и сравните тренды по неделям.

Шаг четвёртый: интерпретация

Сопоставьте результаты подсчёта с действиями:

Что происходит	Оценка	Действие
Записей об AI-краулерах нет вообще	Канал перекрыт	Проверьте robots.txt, CDN, WAF и правила блокировки UA на сервере
Только обучающие краулеры	Попали в долгосрочный корпус, но не в поиск	Проверьте структуру контента (извлекаемость), добавьте FAQ и блоки с выводами
Поисковые краулеры есть, но их мало	Недостаточный охват контента или низкий вес	Расширьте охват контента, добавьте внешние источники
Поисковые краулеры есть и стабильно растут	Направление верное	Держите темп, следите в первую очередь за цитированием
Появились краулеры, запускаемые пользователем	Реальные пользователи уже спрашивают ИИ о вашем контенте	Запишите эти страницы и оптимизируйте в первую очередь (ими уже пользуются реальные люди)

Четыре-пять ключевых метрик и критерии оценки

Показатель	Как считается	Критерий (ориентир)
Всего визитов AI-краулеров(за неделю)	Число запросов: поисковые + обучающие + инициированные пользователем	Постоянно > 0 — это минимум; рост неделя к неделе — хорошо
Доля поисковых запросов	Поисковые / все запросы AI-краулеров	Чем выше, тем лучше (значит, вы попали в слой поиска в реальном времени)
Число охваченных страниц(без повторов)	Число разных URL, которые посетили AI-краулеры	Должно быть близко к общему числу ваших ключевых страниц
Доля успешных запросов	Ответы 2xx / все запросы AI-краулеров	Должно быть > 95%; ниже 90% — проверяйте канал
Время до первого обхода новой страницы	Сколько дней проходит от публикации до первого обхода	1–7 дней — норма; > 14 дней — канал медленный или вас игнорируют

Из них «время до первого обхода новой страницы» — самая практичная метрика для работы. Она как «градусник здоровья канала»: опубликуйте новую статью и посчитайте дни. Если её обошли за 7 дней — канал здоров; если две-три недели тишина — есть проблема, которую надо искать.

Дополнительная метрика (если есть система отслеживания конверсий): Считайте «визиты из AI-источников». Для этого нужно отслеживать на сервере или во фронтенде referrer трафик из AI-продуктов (например,chat.openai.com、perplexity.ai). Такой трафик обычно небольшой, но намерение очень высокое— пользователь перешёл по ссылке, увидев вас в ответе AI.

Пять, четыре частые ошибки в оценке

Ошибка	Симптом	Как на самом деле
Принимать Googlebot за AI-краулер	Видеть Googlebot и считать, что GEO работает	Googlebot — краулер поискового индекса, это отдельная цепочка от AI-поиска (но они пересекаются)
Кэш CDN приводит к потере данных в логах	В логах только запросы к источнику	Запросы, которые CDN отдаёт напрямую, не попадают в логи источника — нужно смотреть логи CDN
Контент, отрендеренный через JS, не обходится	Краулер пришёл, но содержимое страницы пустое	Если ключевой контент рендерится через JS, часть AI-краулеров не выполняет JS и видит пустую оболочку
Смотреть только на UA и не проверять IP	В логах «AI-краулеры» подозрительно активны	Большинство — SEO-инструменты с поддельным UA

Вторая и третья — чисто технические проблемы, но влияние у них большое:

Кэш CDN: если CDN настроен на «кэширование HTML», то множество запросов краулеров не доходит до источника, и по логам источника реальный объём обхода не виден.Правильно смотреть логи CDN или отключить кэширование HTML (либо поставить короткий кэш).
JS-рендеринг: часть AI-краулеров и поисковых краулеров не выполняет JavaScript. Если параметры и таблицы характеристик вашего продукта подгружаются через фронтенд-JS, то он может увидеть пустую страницу. Это частая причина ситуации «контент вроде есть, но на него не ссылаются».

Как проверить: Возьмите curl и запросите страницу напрямую (без выполнения JS), посмотрите, есть ли в возвращённом HTML ключевой контент. Если нет — нужен серверный рендеринг или вывод ключевого контента статикой.

Шесть, от логов к действиям с контентом

Ценность логов в том, что они отвечают на вопрос «что мне исправить». Вот соответствия:

Что видно в логах	Действия по контенту	Действия по технике
Определённый тип страниц вообще не сканируется	Проверьте, видны ли эти страницы в навигации и есть ли у них внутренние ссылки	Проверьте, не закрыты ли они по ошибке в robots.txt
Сканирование сосредоточено на нескольких страницах	Остальным страницам, возможно, не хватает веса	Оптимизируйте структуру внутренних ссылок
Частое сканирование без ссылок	Недостаточная плотность фактов в контенте, структура не извлекается	Добавьте блок с выводами, таблицы, FAQ
Много ошибок 404 при сканировании	Есть битые ссылки	Исправьте ссылки и редиректы
Одна и та же страница сканируется снова и снова, но статус 403	Блокировка на стороне WAF / CDN	Настройте правила, чтобы пропускать легальных AI-краулеров
Краулеры, запускаемые пользователями, сосредоточены на нескольких страницах	Этот контент уже используют реальные пользователи	Добавьте на эти страницы релевантные ссылки и точки конверсии

Практичный ритм работы:

Частота	Действие	Затраты времени
Еженедельно	Смотрите общий объём и время первого сканирования новых страниц	10 минут
Ежемесячно	Статистика по категориям + анализ покрытия	1 час
Раз в квартал	Полный аудит (с проверкой IP, кодов статуса, сопоставлением контента)	Полдня

FAQ: частые вопросы

Порядок	Что проверить	Частая проблема
1	robots.txt	Не закрыт ли Disallow для нужных UA или не допущена ли ошибка в шаблонах
2	CDN / WAF	Не блокирует ли по UA (многие WAF по умолчанию блокируют «нечеловеческие» UA)
3	Конфигурация сервера	Нет ли в Nginx/Apache правил, ограничивающих краулеров
4	Сами логи	Хранятся ли логи всего несколько дней и не скрыты ли они кэшем CDN
5	Размер сайта	У нового сайта или сайта с малым числом страниц частота сканирования изначально низкая

В логах вообще нет AI-краулеров — в чём обычно проблема?

Проверяйте в этом порядке — охватывает 95% случаев:Самое незаметное — пункт 2. У многих сайтов robots.txt написан абсолютно верно, но CDN или плагин безопасности блокирует UA AI-краулеров на уровне приложения — получается «формально пропускаем, фактически всё отклоняется».Как определить: поищите в логах коды статуса. Если соответствующие запросы массово возвращают 403 — это тот самый пункт.

Выбор	Плюсы	Цена
Разрешить	Попадание в долгосрочный корпус, будущие модели «знают вас от рождения»	Контент используется безвозмездно
Разрешить частично	Открыть для поисковых, ограничить для обучающих	Совместить оба подхода
Отказать полностью	Защитить контент	Практически выйти из гонки GEO

Разрешать ли обучающие краулеры (GPTBot / CCBot)?

Это стратегический выбор, единого ответа нет, но есть чёткий компромисс:Сейчас большинство компаний, выходящих на зарубежные рынки, выбирают «пропускать поисковых + пропускать обучающих». Причина: для производственных компаний на зарубежных рынках ценность обучения на контенте намного выше ценности его защиты —Ваша цель — чтобы вас узнавали, а не чтобы вас прятали.

Способ	Как сделать	Подходит
Командная строка + скрипты	grep / awk для извлечения UA и IP, Python для статистики	Есть техническая команда, объём небольшой
Платформа анализа логов	Подключить логи CDN, настроить визуализацию и оповещения	Есть бюджет на эксплуатацию
Комплексный мониторинг	Отчёт о краулерах во встроенных инструментах мониторинга сайта	Быстрый старт

Какие инструменты нужны для анализа логов?

Можно и своими силами, и купить готовое:На старте сложные инструменты не нужны. Скрипт, который запускается раз в неделю и выдаёт пять показателей — общее число визитов AI-краулеров за неделю, распределение по категориям, охват, доля успешных запросов и число дней до первого обхода новых страниц, — уже даёт достаточно данных для решений.

Ситуация	Оценка	Действие
Обучающие снижаются, поисковые стабильны	Нормальные колебания	Действий не требуется
Поисковые снижаются	Обновление контента остановилось или просел вес	Проверьте ритм обновления контента и внешние источники
Резкое падение до нуля	Канал перекрыт	Сразу проверьте, не менялись ли robots, CDN или WAF
Сезонные колебания	Сезон выставок и праздники влияют на потребление контента в отрасли	Понаблюдайте 2–4 недели, потом делайте вывод

Резкое падение числа обходов — это плохо?

Не обязательно. Сначала разберитесь, какое именно падение:«Резкое падение до нуля» — самый тревожный сигнал, и его частые причины — смена CDN, новый плагин безопасности или правки в robots.txt:такие изменения часто случайно блокируют и AI-краулеров.

Вопрос	Что можно отследить	Как отследить
Прочитали?	✅	Логи сервера / CDN
Проиндексировали?	⚠️ Частично	Search Console (обычный поиск), со стороны AI не видно
Сослались?	❌	Ручная проверка по фиксированному набору вопросов или инструменты мониторинга

Видно ли в логах, что на вас сослались?

Нет. Логи доказывают только чтение, но не ссылки.Поэтому это две отдельные задачи: логи показывают «канал и обход», фиксированный набор вопросов — «результат цитирования». Только вместе они дают полную картину эффекта GEO.

Возраст сайта	Типичная ситуация
0–1 месяц	Мало или совсем нет; сначала добейтесь индексации в поисковиках
1–3 месяца	Появляются краулеры обычного поиска и немного AI-краулеров
3–6 месяцев	AI-краулеры приходят стабильно, охватывают ключевые страницы
Больше 6 месяцев	Частота поисковых обходов растёт, появляются ссылки

Через сколько новый сайт увидит AI-краулеров?

Зависит от объёма контента и возраста сайта. Ориентировочный ритм:Для нового сайта главное — не «ждать AI-краулеров», а сначала сделать так, чтобы сайт можно было обойти: статичный читаемый контент, понятные внутренние ссылки, доступный robots.txt, CDN без блокировок. Сделаете это правильно — обходы придут сами.

В заключение

В GEO больше всего тревожит «невидимость» — в отличие от рекламы, где есть данные о кликах в реальном времени, и от SEO, где можно следить за позициями. И тут логи сервера как раз закрывают этот пробел.

Они не скажут, «сослались на вас или нет», но расскажут три более важные вещи:работает ли канал, прочитали ли контент, какие страницы читают.

С этими тремя ответами GEO превращается из «пишем контент на ощупь» в «инженерию с обратной связью» —это и есть отправная точка, чтобы делать это дело основательно.