Проверка robots.txt для нейросетей

Вставьте адрес сайта и узнаете по каждому роботу, пускает ли robots.txt ChatGPT, Алису, Claude, Perplexity и Google, и не разворачивает ли их защита сайта.

Адрес сайта Проверить роботов →

Читаем открытые robots.txt и главную. Несколько секунд. Адрес не сохраняется.

Два вида роботов, и почему это важно

Чаще всего советуют одно из двух: закрыть всех роботов нейросетей или открыть всех. Но работа у них разная.

• Роботы поиска и ответов читают страницу, чтобы нейросеть могла найти её и пересказать человеку сегодня. Закроете OAI-SearchBot, и, как пишет OpenAI, сайт не покажется в ответах ChatGPT с поиском. Этих держите открытыми, если хотите, чтобы вас называли.
• Роботы, которые действуют по просьбе человека, например ChatGPT-User, открывают одну страницу, потому что о ней спросили. Сами по сети они не ходят.
• Роботы обучения собирают тексты для следующих моделей. Закрыть их вполне разумно для некоторых издателей, и на сегодняшние ответы это не влияет.

Частая ошибка: строка Disallow: / для всех имён из чьего-то списка, которая вместе с роботами обучения закрывает и роботов поиска. По нашему исследованию 731 сайта, роботы ИИ закрыты в robots.txt у 12% русскоязычных сайтов (68 из 559). При этом ChatGPT всё равно назвал 32% сайтов с закрытыми роботами и 34% с открытыми: он отвечает ещё и по тому, что о компании пишут другие сайты. Открыть robots.txt стоит, но одного этого мало.

robots.txt, который открывает поиск и закрывает обучение

Если хотите, чтобы нейросети вас находили, но не хотите отдавать тексты на обучение, файл выглядит так. Поставьте эти блоки выше общих правил и не потеряйте строку с картой сайта.

User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: YandexAdditional
Allow: /

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: CCBot
Disallow: /

User-agent: *
Allow: /

Sitemap: https://example.ru/sitemap.xml

robots.txt это просьба, а не замок. Вежливые роботы её выполняют, от того, кто её не слушает, она не защищает, а защита сайта может развернуть робота, которого robots.txt пускает. Поэтому проверка выше смотрит и на то, и на другое.

Роботов пускают. А называет ли вас ChatGPT?

Открытый сайт это входной билет, а не результат. Бесплатная проверка OperStack читает сайт так, как его читает нейросеть, ставит оценку из 100 и задаёт ChatGPT вопросы, которые задают ваши покупатели, чтобы увидеть, называет он вас или кого-то другого.

Следить за этим неделя за неделей помогает подписка «Аналитик»: она спрашивает ChatGPT, Perplexity и Алису о том, о чём спрашивают ваши покупатели, и показывает, кого называют вместо вас.

Проверить свой сайт бесплатно →

Другие бесплатные инструменты

• Текст без JavaScriptРоботов пускают. А находят ли они на странице текст?
• Генератор llms.txtЧерновик карты сайта для нейросетей из ваших же страниц.
• Проверка разметкиГоворят ли ваши страницы машине, кто вы и где.

Все бесплатные инструменты · Наше исследование 731 сайта

Вопросы

Чем роботы поиска отличаются от роботов обучения?

Робот поиска читает страницу, чтобы нейросеть могла найти её и пересказать человеку прямо сейчас: OAI-SearchBot у ChatGPT, PerplexityBot, Claude-SearchBot. Робот обучения собирает тексты для будущих моделей: GPTBot, ClaudeBot, CCBot. OpenAI, например, пишет, что сайт, закрывший OAI-SearchBot, не показывается в ответах ChatGPT с поиском, а запрет GPTBot значит только «не учите модели на моих текстах» (документация OpenAI).

Как Яндекс решает, попадёт ли мой сайт в ответы Алисы?

Ответы собираются по индексу Яндекса, поэтому сначала сайт должен быть открыт для YandexBot. Отдельно есть имя YandexAdditional: сам он сайт не обходит, а запрет для него в robots.txt убирает текст ваших страниц из быстрых ответов с YandexGPT и ответов Поиска с Алисой, при этом обычный поиск остаётся. Список роботов и их назначение есть в справке Яндекса для вебмастеров.

Стоит ли закрывать роботов обучения?

Это решение о бизнесе, а не о технике. Запрет для GPTBot, ClaudeBot, Google-Extended или Applebot-Extended не убирает вас из сегодняшних ответов. Google пишет, что Google-Extended не влияет на попадание в поиск и на позиции (справка Google), Apple пишет то же про Applebot-Extended и свой поиск (справка Apple).

Почему написано «может быть закрыт», если robots.txt его пускает?

Потому что защита сайта или хостинга может разворачивать роботов, даже когда robots.txt их пускает. Мы открываем главную обычным браузером и ещё раз под именем каждого робота. Если браузеру страница открылась, а роботу дважды пришёл отказ, мы это показываем. «Может быть» потому, что наш запрос только называет себя роботом: защита, которая узнаёт настоящего робота по адресам его компании, может пропустить настоящего. Последнее слово за журналом вашего сервера.

Слушаются ли robots.txt ChatGPT-User и Perplexity-User?

Не всегда. OpenAI пишет, что для ChatGPT-User правила robots.txt могут не действовать, потому что запрос начал человек, Perplexity пишет то же про Perplexity-User (документация Perplexity). Своих трёх роботов Anthropic описывает в справке Claude.

Вы сохраняете адрес, который я проверил?

Нет. Проверка идёт, пока грузится страница, и никуда не записывается: ни учётной записи, ни куки, ни базы. На ваш сайт уходит не больше 12 запросов: robots.txt с подписью OperStackTools и ссылкой на oper-stack.ru/instrumenty/, а главная один раз обычным браузером и по разу под именем каждого робота для проверки защиты.

Сделал Максим Щеголев, основатель OperStack. Бесплатно, без регистрации и куки. Адрес, который вы проверяете, мы не сохраняем.