Почему нейросеть каждый раз отвечает по-разному – и как тогда измерять видимость бренда

CiteFlow · август 2026

Проведите эксперимент. Спросите Алису или GigaChat: «посоветуй [ваша категория] в [ваш город]». Запишите ответ. Откройте новый чат и задайте тот же вопрос ещё раз. И ещё раз. Скорее всего, вы получите три разных списка компаний.

Это не глюк – так устроена генерация

Каждый ответ языковой модели генерируется заново, и результат каждый раз немного другой. На наших замерах GigaChat на один и тот же вопрос ответил сначала текстом в 2710 символов с одним списком компаний, а через две минуты – текстом в 2372 символа с заметно другим списком. У генеративного ответа Яндекса между прогонами меняется даже состав сайтов, на которые он опирается: один источник исчезает, другой появляется.

Масштаб явления подтверждён и академически: работа «Don't Measure Once» показала, что идентичные запросы в ИИ-поиске расходятся между прогонами примерно в половине случаев.

Следствие: одиночный замер – это случайность, а не факт

«Сегодня вас нет в ответе, завтра есть» может означать ровно ничего: изменился не рынок, а бросок кубика. Отчёт о «видимости бренда в нейросетях», в котором каждый вопрос проверен один раз, измеряет не видимость, а однократную реализацию случайной величины. График «динамики» по таким точкам – интерпретация шума.

Это не абстрактная придирка. На типичной панели запросов разброс между прогонами легко съедает 5–10 процентных пунктов – то есть «рост с 18% до 23%» при одиночных замерах неотличим от отсутствия изменений.

Как измерять честно

Инструментов три, и все давно известны статистике.

Повторы. Каждый вопрос задаётся минимум трижды (K≥3) каждому движку. Метрика считается по распределению ответов, а не по одному ответу.

Интервал неопределённости. Рядом с каждой цифрой – диапазон, в который ляжет результат при повторении измерения тем же протоколом: «12% ± 3 п.п.», а не просто «12%».

Минимальный обнаружимый эффект (MDE). Для каждой панели считается порог, ниже которого изменение неотличимо от шума. Изменение на 2 п.п. при MDE 5 п.п. – это погрешность, и честный отчёт так и пишет.

Три вопроса к любому отчёту о видимости

Если вы покупаете мониторинг нейросетей – у сервиса или у агентства, – задайте три вопроса. Первый: сколько раз проверялся каждый запрос? Второй: можно ли открыть сырые ответы нейросети, из которых посчитаны проценты? Третий: написана ли рядом с цифрой её погрешность?

Ответы «один», «нет» и «нет» означают, что перед вами снимок случайности с красивыми графиками.

Полный протокол измерения CiteFlow – панель, повторы, знаменатели метрик, правило эха, хранение сырья – опубликован на странице методологии. Проверить свой бренд этим протоколом можно бесплатно за несколько минут.