AI-краулер
Робот, который собирает страницы для обучения моделей или для ответов AI-поиска: GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot и другие.
AI-краулер — поисковый робот компании, которая делает языковые модели или AI-поиск. Одни роботы собирают данные для обучения, другие загружают страницы в момент ответа пользователю. Если сайт закрыт от них в robots.txt или на уровне файрвола, страницы не попадут в ответ со ссылкой, даже если отлично ранжируются в обычном поиске.
Основные роботы
- OpenAI: GPTBot — сбор данных для обучения; OAI-SearchBot — поиск в ChatGPT; ChatGPT-User — загрузка страницы по запросу пользователя.
- Anthropic: ClaudeBot и связанные с ним агенты.
- Perplexity: PerplexityBot для индекса ответов.
- Google: ответы AI Overviews и AI Mode строятся на обычном индексе Googlebot; токен Google-Extended в robots.txt управляет использованием контента для обучения Gemini.
- Яндекс: Алиса и Нейро опираются на индекс YandexBot — закрыть сайт от него значит пропасть и из поиска, и из ответов.
Что проверить
- robots.txt: нет ли общего Disallow для перечисленных агентов, который остался от старых настроек.
- Защиту от ботов у хостинга или CDN: она часто блокирует AI-краулеров без правки robots.txt.
- Что робот видит без JavaScript: если контент появляется только после выполнения скриптов, часть роботов увидит пустую страницу.
Выберите, как подключиться
Начать мониторинг в кабинете, обсудить GEO-продвижение под ключ, получить диагностику, запустить одну проверку с баланса или обсудить условия платформы для агентства.