Вставьте адрес страницы и узнаете, что находит в ней робот, который не выполняет скрипты: сколько слов, какие заголовки и ссылки и какие первые 500 знаков он прочитает.
Одна открытая страница, только исходный HTML, скрипты не выполняются. Ничего не сохраняется.
Браузер скачивает страницу, выполняет её скрипты и рисует результат. Многие роботы нейросетей останавливаются на первом шаге: читают тот HTML, который прислал сервер, и уходят. Если сайт собирает текст скриптами прямо в браузере, как многие сайты на React и Vue без отрисовки на сервере, такие роботы получают почти пустую страницу с заголовком окна и пустым блоком.
Вы этого не замечаете, потому что всегда видите готовую страницу. Поэтому проверка показывает сам текст, а не балл: если первые 500 знаков в результате это меню и плашка про куки, то же самое получит и нейросеть. В нашем исследовании 731 сайта текст, который появляется только после скриптов, назван среди пяти причин, по которым нейросети трудно прочитать сайт.
Здесь проверяется одна страница. Бесплатная проверка OperStack читает главную и ещё несколько страниц так, как их читает нейросеть, ставит оценку из 100 и задаёт ChatGPT вопросы ваших покупателей.
Следить за этим неделя за неделей помогает подписка «Аналитик»: она спрашивает ChatGPT, Perplexity и Алису о том, о чём спрашивают ваши покупатели, и показывает, кого называют вместо вас.
По разбору Vercel (декабрь 2024 года), роботы OpenAI (OAI-SearchBot, ChatGPT-User, GPTBot) и ClaudeBot от Anthropic скачивают файлы скриптов, но не выполняют их, а Gemini через Googlebot и Applebot страницы отрисовывают (Vercel: The rise of the AI crawler). Роботы меняются, поэтому исходный HTML надёжнее всего считать тем минимумом, который увидят все.
Поисковики умеют, а ChatGPT и Claude не поисковики. Google, например, отрисовывает страницы отдельным шагом, иногда позже первого обхода (справка Google о JavaScript). Если текст появляется только после скриптов, нейросети, которые читают исходный HTML, получают пустую заготовку.
Меньше 100 слов это примерно один короткий абзац, а часто только меню и подвал: рассказать по такому, чем вы занимаетесь, невозможно. От 100 до 250 страница читается, но тонкая. Пороги выбрали мы сами, это не стандарт: страница контактов может быть короткой нарочно.
Сделать так, чтобы текст отдавал сервер. В движках это называется отрисовкой на сервере или статической сборкой: так умеют Next.js, Nuxt, Astro, SvelteKit и Remix. Если переделывать нельзя, сервис предварительной отрисовки отдаёт роботам готовую копию страницы. На Тильде, WordPress и в конструкторах текст обычно уже лежит в HTML; если нет, его рисует какой-то блок или виджет на скриптах.
Это то, что лежит в исходном HTML, без скриптов, стилей и скрытых шаблонов. Настоящий робот ещё может пропустить меню и подвал, получить от защиты сайта другую страницу или упереться в запрет в robots.txt. Последние два случая смотрит проверка robots.txt для нейросетей.
Нет. Мы читаем страницу один раз, пока грузится эта, и ничего не храним: ни учётной записи, ни куки, ни базы.
Сделал Максим Щеголев, основатель OperStack. Бесплатно, без регистрации и куки. Адрес, который вы проверяете, мы не сохраняем.
OperStack