Ежемесячный мониторинг фиксированного набора вопросов: как измерить долю цитирований в AI

Сначала вывод: Самое слабое место GEO — невозможность опровергнуть результат. Чтобы её устранить, нужно сначала жёстко зафиксировать методику: постоянный набор вопросов, которые редко меняются, фиксированные модели и формулировки, выборка в одну и ту же неделю каждого месяца, затем пять показателей. Около 40 вопросов в наборе, одна выборка — 1–2 часа, отчёт — одна страница.

I. Самое слабое место GEO — «невозможность опровергнуть результат»

Самое частое обещание в GEO-услугах — «теперь AI вас упоминает». Возразить на это почти нечем: задайте другой вопрос, возьмите другую модель, спросите в другой день — и вывод может стать противоположным. Это не доказывает ни эффективность, ни её отсутствие.

Проблема в методе выборки: вопрос придумали на ходу, спросили один раз, взглянули на ответ. Размер выборки здесь равен 1, случайность намного перевешивает сигнал, а вывод по одному результату — это подбрасывание монетки.

Чтобы результат можно было опровергнуть, нужно зафиксировать четыре вещи:

Элемент	Последствия без фиксации	Результат с фиксацией
Набор вопросов	Каждый раз вопросы разные, сравнивать нечего	Одни и те же вопросы месяц к месяцу — тренд читается
Модель и точка входа	Смена модели — смена среды, результаты несопоставимы	Та же модель, та же точка входа — изменения идут от контента
Окно выборки	Выборка в разные недели — помехи от отраслевого ритма	Одна и та же неделя каждого месяца — сезонный шум исключён
Аккаунт и его состояние	Статус входа и регион влияют на ответы	Одно и то же состояние аккаунта — меньше переменных среды

Цель этого метода — не вычислить точную цифру вроде «доля цитирований 23%», а определить направление. Если разница между месяцами укладывается в 5 процентных пунктов, это ещё не вывод; сигнал — это однонаправленное изменение три месяца подряд. Этот порог нужно проговорить сразу, иначе сам отчёт превратится в очередное очковтирательство. Метод показывает только «есть ли вы в ответе», но не «сколько людей вас увидели» — показы и клики относятся к другой цепочке, их нужно измерять отдельно. Эту методику мы отработали на сайтах нескольких клиентов,crater, в описании метода есть соответствующий указатель.

II. Как построить набор вопросов: три уровня, около 40 штук

Набор вопросов — главный актив этого метода. Он должен отвечать трём условиям: формулировки — те, что используют реальные покупатели; охват всего пути от знакомства до решения; состав относительно стабилен.

Мы рекомендуем строить набор по трём уровням, всего около 40 вопросов:

Уровень	Тип вопроса	Количество	Пример формулировки	Что смотрим в первую очередь
Первый уровень	Вопросы с брендовыми словами	10–12 штук	Чем занимается компания, каковы продукты бренда	Знает ли модель бренд, чётко ли определена сущность
Второй уровень	Общие вопросы по категории	12–15 штук	Как выбрать оборудование определённого типа, какую точность обеспечивает технология	Попадание в пул кандидатов категории
Третий уровень	Вопросы закупочного решения	12–15 штук	Как отбирать китайских поставщиков, каковы обычные сроки поставки определённой продукции	Попадание в ответы на этапе закупки

Все три уровня решают разные задачи. Первый — узнаваемость, второй — охват категории, третий — этап закупки.Если тестировать только брендовые запросы, результаты будут завышены— модель может знать ваше название, но ни разу не упомянуть вас в вопросах, по которым покупатели реально принимают решение.

Откуда брать вопросы? Не выдумывайте — соберите их из четырёх источников ниже:

Источник	Как именно брать	Рекомендуемая доля	Ценность
Вопросы, которые реально задавали менеджерам	Выпишите дословные формулировки из запросов и переписок	40%	Самые реалистичные формулировки
Поисковые запросы на сайте	Возьмите первые 30 уникальных запросов из логов поиска	20%	Показывают, чего не хватает текущим посетителям
Подсказки и связанные вопросы в AI	Введите слово категории и посмотрите, какие вопросы предлагает модель	25%	Отражают актуальные формулировки
Где в ответах появляются конкуренты	Зафиксируйте формулировки и сценарии, в которых упоминают конкурентов	15%	Найдите свободные ниши

Как только набор вопросов утверждён, не меняйте его без необходимости. Если нужно добавить вопросы, делайте это заменой, а не дополнением: добавили 2 — уберите 2 и отметьте дату замены. Иначе через три месяца у вас будет список, который невозможно сравнить с прошлыми периодами.

III. Дисциплина выборки: пять постоянных условий

Метод держится на дисциплине. При каждой выборке пять пунктов ниже должны оставаться неизменными; если что-то изменилось, данные за период помечаются отдельно.

Постоянное условие	Конкретные требования	Что делать при нарушении
Фиксированные модели и точки входа	Выберите 2–3 модели, зафиксируйте конкретную версию и тип точки входа	Данные после смены модели выносите в отдельный столбец и не сравнивайте напрямую с прошлым периодом
Фиксированные формулировки	Используйте текст вопросов дословно, без перефразирования и уточнений	Перефразированные результаты в текущий период не включаются
Фиксированное временное окно	Один и тот же понедельник одной и той же недели месяца, в первой половине дня	Данные с отклонением больше 3 дней помечаются как аномальные
Фиксированное состояние аккаунта	Тот же аккаунт, та же сеть, тот же режим доступа в интернет	При изменении условий заново постройте базовую линию
Фиксированное хранение	Сохраняйте исходные вопросы и полный текст ответов со скриншотами	Данные без исходных записей считаются недействительными

По формулировкам есть два варианта. Исходная формулировка — вводите вопрос как есть, ближе к реальному использованию, но ответы более случайны; формулировка с уточнением — добавляете к вопросу фразу «перечисли поставщиков», бренд упоминается чаще, но вывод получается слишком оптимистичным.Мы рекомендуем опираться на исходные формулировки, а формулировки с уточнением использовать только как дополнение при оценке пула кандидатов категории. Результаты обоих вариантов записывайте отдельно, не сводите их в один показатель. Докладывать красивые цифры, полученные с уточняющей формулировкой, — значит создать себе фальшивую базовую линию.

Ещё одно правило: каждый вопрос задаём только один раз, не переспрашиваем до тех пор, пока не получим устраивающий ответ. Если нужно убедиться, что ответ стабилен, проверяем его в следующем периоде.

4. Как считаем пять измеримых показателей

Методику расчёта нужно зафиксировать заранее, иначе при каждом подсчёте будет новый алгоритм. Ниже пять показателей в той версии, которой пользуемся мы.

Показатель	Определение	Как считается	Период наблюдения
Упоминаемость	Доля ответов, в которых встречается название бренда	Число вопросов с упоминанием ÷ общее число вопросов	Ежемесячно
Доля первых упоминаний	Доля ответов, где название бренда стоит первым среди упомянутых	Число первых упоминаний ÷ общее число вопросов	Ежемесячно
Доля ответов со ссылкой на сайт	Доля ответов, где среди источников есть официальный сайт	Число вопросов со ссылкой на сайт ÷ число вопросов с упоминанием бренда	Ежемесячно
Точность ответов	Доля ответов, где описание вашей компании соответствует фактам	Число вопросов с корректным описанием ÷ число вопросов с упоминанием бренда	Ежемесячно
Доля выигрышей в сравнении с конкурентами	Доля случаев, когда при одновременном упоминании с заданным конкурентом описание выгоднее	Число выгодных упоминаний ÷ число вопросов с одновременным упоминанием	Ежемесячно

Три детали расчёта нужно пояснить отдельно.В знаменателе упоминаемости — все вопросы, единый знаменатель нужен для сравнения по месяцам;в знаменателе доли ответов со ссылкой на сайт — вопросы с упоминанием бренда, иначе показатель размоют вопросы без упоминаний;для точности ответов нужен ручной эталон: заранее составьте таблицу фактов — производственные мощности, сертификаты, минимальный заказ, сроки поставки — и сверяйте по ней каждый пункт.

Ориентировочные диапазоны по пяти показателям (на примере промышленных категорий):

Показатель	Диапазон в первом квартале	Диапазон через полгода	Пояснение
Упоминаемость	5–15%	15–35%	Сильно зависит от конкуренции в категории
Доля первых упоминаний	0–5%	5–15%	В категориях с высоким чеком обычно ниже
Доля ответов со ссылкой на сайт	10–30%	30–60%	Зависит от структуры контента на сайте
Точность ответов	40–70%	70–90%	На старте часты ошибки в описании
Доля выигрышей в сравнении с конкурентами	20–40%	40%–60%	Выборка небольшая, смотрим на динамику, а не на абсолютные значения

5. Правила оценки и пороги: включая «данных недостаточно»

Когда данные есть, нужны правила оценки. Без правил каждый читающий отчёт поймёт его по-своему. Мы делим оценки на четыре уровня, один из которых прямо называется «данных недостаточно».

Оценка отдельного вопроса:

Статус	Условие	Как фиксируем
Упоминание со ссылкой на сайт	В ответе есть бренд и среди источников — официальный сайт	3 балла
Упоминание без ссылки	В ответе есть бренд, но среди источников нет официального сайта	2 балла
Нет упоминания	Название бренда в ответе не встречается	0 баллов
Ошибка в ответе	Бренд упомянут, но факты описаны неверно	Помечаем отдельно, в баллы не идёт
Нельзя оценить	Ответ общий или не по теме вопроса	Помечаем как недействительный и исключаем из текущего периода

Оценка общего вывода:

Вывод	Условие	Можно ли показывать вовне
Явное улучшение	Рост упоминаемости к прошлому периоду не менее 5 процентных пунктов и два периода подряд в одну сторону	Можно
Возможное улучшение	Рост в пределах 5 процентных пунктов или только за один период	Нет, пишем «наблюдаем»
Без заметных изменений	Отклонение в пределах ±3 процентных пунктов	Нет, пишем «без изменений»
Данных недостаточно	Меньше 30 действительных ответов или в этом периоде сменили модель либо формулировку вопросов	Нет, указываем причину

«Данных недостаточно для вывода» — обязательный пункт честного отчёта. Обычно есть три триггера: меньше 30 валидных ответов за период, смена версии модели, из-за которой меняется стиль ответов, или нарушение дисциплины выборки (задавали перефразированные вопросы, меняли аккаунт). В этих трёх случаях выдать вывод хуже, чем не выдать его: люди начнут править контент не в ту сторону.

Есть ещё один принцип, который легко упустить:падение точности ответов важнее, чем работа над упоминаемостью. Если модель много упоминает вас, но описывает как поставщика другого типа или путает мощности и сертификаты, такие упоминания вредят. В этом случае первый приоритет — исправить источник фактов, а не дальше повышать упоминаемость.

Шесть. От мониторинга к действиям

Ценность мониторинга в том, что он указывает на конкретные действия. Ниже — правила сопоставления, которые мы используем: от явления сразу к действию.

Что происходит	Оценка	Действие первого приоритета	Окно наблюдения
Упоминаемость низкая, точность в норме	Не хватает плотности корпуса, у модели нет материала	Повысить плотность фактологического контента на сайте: добавить параметры, сертификаты, детали технологии	8–12 недель
Упоминания есть, ссылок на источник нет	Контент можно прочитать, но структуру нельзя извлечь	Добавить блок с выводом, таблицы, FAQ, чтобы факты шли блоками	4–8 недель
Точность ответов низкая	Источник фактов ошибочный или устаревший	Исправить неверные описания на сайте и в открытых источниках	4–8 недель
По брендовым запросам находите, по категорийным — нет	Сущность ясна, но охват категории недостаточный	Добавить контент о выборе и сравнении на уровне категории	8–12 недель
По категорийным запросам упоминают, по закупочным — нет	Не хватает контента для этапа принятия решения	Добавить сроки поставки, MOQ, сертификаты, сервис — то, что важно при закупке	8–12 недель
Упоминают конкурента, а вас — нет	У конкурента есть чёткий контент под определённые формулировки вопросов	Сделать страницы под эти конкретные формулировки	8–12 недель
Все показатели без изменений	Обновление контента остановилось или есть проблема с каналом	Сначала проверить, обновлялся ли контент и приходил ли краулер	4 недели

Как пользоваться таблицей: после ежемесячного отчёта берите только одно самое верхнее явление и работайте с ним, не меняйте три вещи сразу.Меняйте по одной переменной за раз — тогда в следующем месяце будет понятно, что сработало. Если менять структуру контента, частоту обновлений и описание фактов одновременно, даже улучшение показателей нельзя будет объяснить.

Сопутствующих действий по контенту в основном пять: вынести ключевые факты в отдельные абзацы, добавить на каждую страницу 5–8 FAQ, сделать страницы о сертификатах и соответствии требованиям, унифицировать описание бренда и данные о сущности, добавить мультиязычные версии. Срок до результата — в основном от 4 до 24 недель, чем дальше, тем медленнее.

Семь. Шаблон отчёта, срок хранения и случаи, когда он не подходит

Отчёт должен быть коротким. Одной таблицы плюс архив достаточно для принятия решений.

Блок отчёта	Содержание	Объём
Вывод за период	Одна строка с выводом из четырёх категорий	1 строка
Таблица пяти показателей	Значение за период в сравнении с предыдущим, с указанием направления изменения	1 таблица
Список проблемных вопросов	Вопросы с неверными ответами или без ответа — перечислите по пунктам	3–8 пунктов
Действие на этот период	Только одно, взятое из карты действий	1 строка
Точка проверки на следующий период	Тот единственный показатель, по которому проверяют, сработало ли действие этого периода	1 строка

Требования к хранению исходных материалов:

Что хранить	Срок хранения	Зачем нужен
Исходные вопросы и полный текст ответов	12 месяцев	Перепроверка и отслеживание изменений в методике
Скриншоты ответов	12 месяцев	Ответы на внешние возражения
Таблица месячных показателей	Долгосрочный	Чтобы видеть годовую динамику
История версий набора вопросов и таблица сверки фактов	Долгосрочный	Чтобы обеспечить сопоставимость по времени и точность оценки

Хранение в течение 12 месяцев нужно не просто так: влияние обновлений версий моделей часто проявляется с задержкой, и только через полгода, оглянувшись назад, замечаешь, что данные сделали скачок. Без исходных ответов невозможно понять, чем вызвано это изменение — контентом или моделью.

Этот метод не подходит в трёх случаях. Первый: язык набора вопросов не совпадает с целевым рынком — проверять немецкий рынок английскими вопросами бессмысленно. Второй: контента на сайте, на который можно ссылаться, ещё слишком мало — тест даст только ряд нулей, сначала нужно заняться контентом. Третий: мониторинг используют как инструмент приёмки — с его помощью нельзя доказать, насколько именно «вырос» тот или иной результат. Как только его так применяют, дисциплина выборки ослабевает, и данные перестают быть достоверными.

FAQ: частые вопросы

Сколько вопросов достаточно в наборе?

Около 40 — это точка баланса: одна выборка занимает 1–2 часа, результаты можно интерпретировать по уровням. Меньше 15 — колебания невозможно объяснить, видно только, упомянули вас или нет. 20–30 подходит для одной категории на одном рынке. Больше 60 — точность растёт незначительно, если только это не несколько рынков и языков. И ещё одна дисциплина: новые вопросы добавляют заменой, а не в конец, сохраняя общее количество неизменным, и фиксируют момент замены, иначе сравнивать по месяцам не получится.

Как часто проводить проверку?

Раз в месяц, в один и тот же понедельник одной и той же недели. Чаще не нужно: ответы моделей сами по себе случайны, и разница между неделями — это шум. Реже тоже нельзя: при проверке раз в квартал невозможно понять, что произошло в промежутке. В особых случаях можно провести дополнительную проверку: через 4 недели после крупного изменения контента, через 2 недели после обновления версии модели. Данные дополнительных проверок указывают отдельно и не включают в обычный ряд.

На какой модели проверять?

Выберите 2–3 модели, которые реально используют на вашем целевом рынке, и зафиксируйте их — не меняйте каждый раз. Ориентируйтесь на привычки целевого рынка, а не на то, какая модель даёт более красивые ответы. Обязательно фиксируйте конкретную версию и тип доступа, в том числе включён ли поиск в интернете и выполнен ли вход в аккаунт. После обновления модели стиль ответов может измениться в целом — в этом случае нужно перестроить базовую линию и рассматривать изменения до и после как два отдельных отрезка, а не вычитать напрямую.

Ответы большой модели каждый раз разные — что с этим делать?

Ответы имеют случайный разброс, поэтому не делайте выводов по одному прогону. Есть три способа с этим справиться: набор вопросов должен быть достаточно большим — 40 штук сглаживают колебания отдельного вопроса; смотрите только на однонаправленные изменения в двух-трёх периодах подряд, а разницу в пределах 5 процентных пунктов не считайте выводом; сохраняйте исходные тексты ответов, чтобы при аномалии можно было вернуться к ним. Если по какому-то вопросу результаты резко расходятся три периода подряд, помечайте его как нестабильный и разбирайте отдельно.

Стоит ли тестировать точки входа AI-поиска в клиентах?

Да, но как дополнительную серию, не смешивая с основной. На ответы в клиентских точках входа сильно влияют регион, состояние аккаунта и наличие подключения к сети, поэтому стабильность там ниже, чем в вебе. Рекомендуем в основной серии использовать только одно фиксированное окружение, а клиентские точки входа тестировать раз в квартал отдельно — смотреть, “упомянут ли вас в реальном пользовательском сценарии”, и помечать выводы как справочные. Оба набора данных обязательно ведите в отдельных таблицах.

Этот мониторинг делать внутри или отдать на аутсорс?

Можно и так, и так — всё зависит от того, есть ли стабильный человек и фиксированное время. Плюс внутренней работы в том, что вы понимаете бизнес и можете оценить точность ответов; сложность в том, что нужно каждый месяц стабильно тратить 1–2 часа и продержаться так все 12 месяцев, а когда все заняты, первым делом выкидывают именно это. Плюс аутсорса — дисциплина и стабильность, риск — непонимание бизнеса и принятие неверного описания за верное. Компромисс: выборку и архивирование отдать на аутсорс, а оценку точности оставить внутри — с внутренней таблицей сверки фактов.

В заключение

GEO легко превращается в расход, который невозможно объяснить, потому что у него нет ни实时-данных, как у рекламы, ни чёткой позиции, как у рейтинга. А метод фиксированного набора вопросов по сути меняет дисциплину на доверие —одна и та же группа участников, одна и та же формулировка вопроса, одно и то же временное окно — и случайное становится сравнимым.

Он не даёт обещаний эффективности с точностью до запятой и не даёт выводов в духе “рост в столько-то раз”. Он может сказать только три вещи: стало лучше, хуже или не изменилось по сравнению с прошлым месяцем; по каким вопросам вы есть, а по каким нет; что менять дальше — контент, структуру или факты.

Метод можно считать работающим только тогда, когда он честно говорит: “данных недостаточно для вывода”. Если хотите сначала собрать набор вопросов, можно начать с разделе «Аналитика» на сайте— выбрать реально задаваемые вопросы из тем, а затем дополнить их по трёхступенчатой структуре выше. Если нужно вместе определить набор вопросов и метрики, можно связаться с нами.