Владелица небольшой студии йоги спрашивает ChatGPT: «где в моём городе заняться йогой для начинающих». Он уверенно перечисляет три студии. Её студии в списке нет, хотя сайт работает и в Google она на первой странице. Чаще всего ИИ-поиск не видит сайт по одной из пяти технических причин: роботов не пускает robots.txt или защита хостинга, текст рисует JavaScript, страницы нет в индексе Google или робот спотыкается о битые ссылки. Все пять проверяются за пару минут.
Почему это важно именно сейчас? Люди всё чаще получают ответ, не переходя на сайты. По данным Pew Research Center (2025), когда Google показывает ИИ-сводку, на обычные ссылки нажимают в 8% визитов, а без неё в 15%. Если вас нет внутри ответа, вас почти не видно. Подробнее о том, как ещё сайт тихо теряет клиентов, - в статье о семи тихих утечках сайта.
Как ИИ вообще находит сайты
ИИ-поисковик работает почти как обычный: у него есть робот (программа, которая обходит сайты и читает страницы), он собирает тексты, а потом модель берёт из них ответ и ставит ссылку. Если робот не смог прочитать страницу, модель о ней не знает.
Подвох в том, что у каждой ИИ-компании роботов несколько, и они делают разное. Одни собирают тексты для обучения моделей, другие - для поиска, третьи заходят на сайт, когда об этом попросил конкретный пользователь. Отсюда и первая причина.
Причина 1. В robots.txt закрыт не тот робот
Robots.txt (служебный файл в корне сайта с правилами для роботов) многие правили в 2023-2024 годах, когда стало модно «закрываться от ИИ». Часто закрывали всех подряд. А разница между роботами огромная:
- OpenAI: GPTBot собирает тексты для обучения, OAI-SearchBot - для поиска в ChatGPT. По документации OpenAI, сайт, закрытый для OAI-SearchBot, не показывается в ответах поиска ChatGPT. Запрет GPTBot на поиск сам по себе не влияет;
- Anthropic (Claude): ClaudeBot - обучение, Claude-SearchBot - поиск. Запрет второго, по словам компании, может снизить видимость в поисковых ответах Claude;
- Perplexity: PerplexityBot нужен, чтобы сайт показывался и получал ссылки в результатах Perplexity. Компания пишет, что для обучения моделей этот робот не используется;
- Google: отдельного «робота для ИИ-обзоров» нет. Ответы строятся на обычном индексе Googlebot. Запрет Google-Extended, по документации Google, не влияет на попадание в поиск, он касается обучения и ответов Gemini.
Отсюда практическое правило: не хотите, чтобы на ваших текстах учили модели, - закрывайте роботов обучения. Хотите, чтобы вас находили в ответах, - оставьте открытыми поисковых. Проверить свой файл и собрать правильный можно в генераторе robots.txt для ИИ-роботов.
Но бывает, что robots.txt в порядке, а роботы всё равно не доходят.
Причина 2. Роботов не пускает защита хостинга
Между посетителем и сайтом часто стоит защитный сервис, например Cloudflare. 1 июля 2025 года Cloudflare объявил, что меняет подход к ИИ-роботам: каждый новый домен при подключении спрашивают, пускать ли их, а стартовая настройка - запрет. Сама компания назвала этот день «Днём независимости контента».
Логику понять можно: по оценке Cloudflare, получить посетителей от OpenAI в 750 раз труднее, чем от Google прежних лет, а от Anthropic в 30 000 раз. Но если вы подключали домен после июля 2025 года и не помните, что ответили, загляните в настройки. Возможно, вы закрыли ИИ-поиск, сами того не заметив. Cloudflare подчёркивает, что разрешить доступ можно в любой момент.
Причина 3. Текст появляется только после JavaScript
Многие современные сайты присылают браузеру пустую заготовку, а текст дорисовывает скрипт. Человек этого не замечает: страница появляется за секунду. Но ИИ-роботы скрипты не запускают. Vercel, крупная платформа для сайтов, в декабре 2024 года изучил сотни миллионов запросов роботов GPTBot, ClaudeBot и PerplexityBot. Вывод: ни один крупный ИИ-робот JavaScript не выполняет. Файлы скриптов они скачивают, но не запускают.
Представьте, что вы прислали другу коробку с инструкцией «собери сам», а он умеет только читать готовые письма. Он увидит пустую коробку. Так робот видит сайт, собранный целиком в браузере: заголовок есть, а текста нет.
Как проверить: откройте свою страницу, нажмите Ctrl+U (просмотр исходного кода) и поищите фразу из основного текста. Нашлась - робот её видит. Не нашлась - текст рисует скрипт, и тут нужен разработчик: страницу надо отдавать готовой с сервера.
Причина 4. Страницы нет в индексе Google
Для ИИ-обзоров Google правило простое. В документации сказано: чтобы попасть в ИИ-обзор как ссылка-источник, страница должна быть в индексе и иметь право показываться в поиске с описанием. Никаких дополнительных требований нет.
Значит, всё, что мешает обычному поиску, мешает и ИИ: метка noindex (запрет индексации), забытая после разработки, запрет nosnippet (не показывать описание), закрытый раздел в robots.txt. Проверить, видит ли Google страницу, можно в Search Console или просто запросом site:вашсайт.ru в поиске.
Причина 5. Робот упирается в битые ссылки
В том же исследовании Vercel больше трети запросов ИИ-роботов OpenAI и Anthropic (около 34%) попадали на страницы с ошибкой 404, то есть на несуществующие адреса. Роботы ходят по старым ссылкам, переименованным страницам, адресам из карты сайта, которые давно удалены. Каждый такой визит - потерянный шанс прочитать настоящую страницу.
Что сделать: держать карту сайта (sitemap) актуальной, со старых адресов ставить перенаправление на новые, раз в месяц проверять сайт на битые ссылки.
А как же llms.txt?
llms.txt - это предложенный в 2024 году файл со сжатым описанием сайта для ИИ-моделей. Многие советуют сделать его первым делом. Но Google прямо пишет, что для ИИ-обзоров и ИИ-режима не нужны никакие новые машиночитаемые файлы, «ИИ-текстовые файлы» или особая разметка.
Вредить он не будет, и сделать его можно за минуту в генераторе llms.txt. Но это дополнение, а не замена пяти пунктам выше. Сайт, который робот не может прочитать, никакой llms.txt не спасёт.
Как проверить всё сразу
Проверять пять причин руками долго. Awe Check делает это за минуту и бесплатно: открывает сайт как робот, смотрит robots.txt, проверяет, виден ли текст без JavaScript, ищет noindex и битые ссылки. В отчёте отдельный блок про ИИ-поиск показывает, видят ли сайт ChatGPT, Claude и Perplexity. Что делать с каждой находкой, расписано в гайде про видимость в ИИ-поиске.
Когда роботы до сайта доходят, остаётся последний шаг: дать им, что цитировать. ИИ охотнее берёт короткие абзацы, где вопрос и ответ стоят рядом: «Сколько стоит первое занятие? 3 000 ₸, коврик выдаём». Как устроены сами ИИ-помощники, мы разбирали в гиде по ChatGPT, Claude и Gemini.
Помните студию йоги, которой не было в ответе? Начните с того же, с чего начала бы она. Откройте свой сайт, нажмите Ctrl+U и найдите в коде первую фразу с главной страницы. Это займёт минуту и сразу покажет, видит ли вас ИИ.
Источники
- OpenAI: роботы OpenAI (OAI-SearchBot, GPTBot, ChatGPT-User)
- Anthropic: роботы Claude
- Perplexity: PerplexityBot и Perplexity-User
- Google: ИИ-функции поиска и ваш сайт
- Google: обычные роботы Google и Google-Extended
- Cloudflare: Content Independence Day (2025)
- Cloudflare: пресс-релиз о контроле ИИ-роботов (2025)
- Vercel: The rise of the AI crawler (2024)
- Pew Research Center: клики при ИИ-сводках Google (2025)
