SEO

Проверка robots.txt

Доступность robots, sitemap-директивы и блокировки важных разделов.

Автопроверка по URL

Проверим публичный HTML, headers и служебные файлы. Ниже останется ручной чек-лист для спорных пунктов.

Загружаем инструмент...

Быстрая проверка

Отметьте пункты, которые уже есть на сайте. Результат покажем сразу, без контакта.

Файл robots.txt открывается по корню сайтаРобот должен получать понятные правила без редиректов на ошибку.Важные разделы не закрыты через DisallowСлучайная блокировка услуг, каталога или блога убивает индексацию.Служебные разделы закрыты от обходаAPI, поиск, админка и результаты проверок не должны попадать в индекс.В robots указана ссылка на sitemap.xmlЭто помогает роботам быстрее найти карту сайта.Не заблокированы Googlebot и YandexBotБазовые поисковые роботы должны видеть публичные страницы.AI-краулеры разрешены согласно политике сайтаДля AI-поиска важно отдельно решить OAI-SearchBot, YandexAdditionalBot и GPTBot.

Запустить полную проверку сайта