Короткий ответ
Файл robots.txt должен лежать в корне сайта, открываться по адресу `/robots.txt` и содержать понятные правила для роботов. Для большинства сайтов услуг достаточно не закрывать публичные страницы и указать sitemap.
robots.txt управляет обходом, а не является надежным способом удалить страницу из поиска. Если нужно убрать страницу из индекса, обычно проверяют noindex, статус ответа, canonical и другие методы.
Перед запуском SEO или рекламы нужно убедиться, что страницы услуг, статьи, инструменты, sitemap.xml и важные ресурсы не закрыты случайным `Disallow`.
Почему это важно
robots.txt проверяется поисковыми роботами до обхода сайта.
Ошибки в файле могут долго выглядеть как слабое SEO, хотя причина в запрете обхода.
После переезда, редизайна или смены CMS файл часто меняется незаметно.
Как понять на практике
В файле есть Disallow: /
Такой запрет может закрыть весь сайт для выбранного робота. Иногда он остается после разработки и ломает запуск.
Sitemap не указан или ведет не туда
Директива Sitemap помогает роботу найти карту сайта, но URL должен быть абсолютным и доступным.
Закрыты папки с публичным контентом
После CMS или старого шаблона в robots.txt могут остаться запреты, которые перекрывают услуги, статьи или фильтры каталога.
Внешние ориентиры
Что берем из практики и официальных источников
Редакционный разбор
Как смотреть на проблему глубже
robots.txt управляет обходом, а не является кнопкой удаления из поиска
Google прямо указывает, что блокировка через robots.txt мешает обходу, но URL все равно может появиться в результатах, если о нем известно из ссылок. Если нужно убрать страницу из индекса, нужно смотреть noindex, статус ответа и другие методы. Поэтому robots.txt нельзя использовать как универсальное средство от дублей.
Главная опасность - случайный запрет важных разделов
После разработки или переноса на рабочий сайт часто попадает временное правило `Disallow: /` или запрет папок, где лежат услуги, блог, инструменты или ресурсы страницы. Внешне сайт работает, но поисковик не может нормально обойти контент. robots.txt нужно проверять перед запуском и после каждого изменения структуры.
Примеры из открытой практики
Как применить это к своему сайту
Страница есть в CMS, но поисковик видит противоречивые сигналы
Google Search Central и Яндекс ВебмастерПаттерн
Для индексации важны статус ответа, доступ робота, canonical, noindex, sitemap, внутренние ссылки и качество страницы.
Как выглядит на сайте
URL есть в sitemap, но canonical указывает на главную, внутренняя ссылка отсутствует, а старый редирект ведет через цепочку.
Что делает Webpot
Мы проверяем серверный ответ, robots.txt, meta robots, canonical, sitemap, 301/404, внутренние ссылки и статус URL в Вебмастере.
После редизайна исчезает не трафик, а старые входы
Google redirects и Яндекс ВебмастерПаттерн
При переносе старые адреса должны вести на релевантные новые страницы, а sitemap и внутренние ссылки должны содержать финальные URL.
Как выглядит на сайте
Старые страницы услуг отдают 404 или редиректят на главную, а новые страницы не получили входящих ссылок и не попали в sitemap.
Что делает Webpot
Мы собираем карту старый URL -> новый URL, проверяем 301, canonical, sitemap, формы, цели и заявки после запуска.
Что сверить по сайту
Участок
Файл
Проверка
Открыть `/robots.txt`, проверить HTTP 200, User-agent, Allow/Disallow и Sitemap.
Зачем
Файл должен быть доступен в корне сайта и читаться поисковыми роботами.
Участок
Важные URL
Проверка
Проверить главную, услуги, статьи, инструменты, sitemap и статические ресурсы.
Зачем
Нужно убедиться, что правила не закрывают коммерческие и SEO-страницы.
Участок
Назначение
Проверка
Для дублей использовать canonical/noindex/структуру URL, а не только robots.txt.
Зачем
robots.txt не решает задачу выбора канонической страницы.
Критерии решения
Как понять, что делать дальше
Критерий
Индексируемость
Норма
Страница отдает 200, открыта роботам, есть в структуре и имеет корректный canonical.
Риск
URL опубликован, но закрыт, дублируется или не связан внутренними ссылками.
Действие
Проверить статус, robots, sitemap, canonical и внутреннюю перелинковку.
Критерий
Коммерческий путь
Норма
Читатель понимает проблему, видит решение и может перейти к проверке или услуге.
Риск
Статья дает информацию, но не ведет к действию.
Действие
Добавить CTA, профильную услугу, связанный tool и понятный следующий шаг.
Критерий
Доказательность
Норма
Есть источники, примеры, ошибки, чек-лист и границы ответственности.
Риск
Материал выглядит как общий SEO-текст без проверки и практической ценности.
Действие
Добавить source-backed examples, таблицу ошибок и вопросы для ручного аудита.
Типовая ситуация
сайт случайно закрыт после разработки
Типовые ситуации в статье обобщают частые ошибки сайтов и не являются описанием конкретного клиента. Перед публикацией юридически чувствительные формулировки нужно проверять с профильным специалистом.
Ситуация
На продакшен попал robots.txt со строкой `Disallow: /`, оставшейся со staging. Страницы открываются людям, но роботам обход запрещен.
Как лучше
Перед запуском проверяют robots.txt, sitemap, важные URL и настройки в Вебмастере/Search Console.
Вывод
robots.txt нужно проверять после каждого переноса, а не только при первом запуске.
Чек-лист
Открыть `https://domain.ru/robots.txt` и проверить, что файл отдает 200.
Проверить блок `User-agent: *` и отдельные блоки для Yandex/Googlebot, если они есть.
Убедиться, что нет случайного `Disallow: /` для нужных роботов.
Проверить, что sitemap указан и доступен.
Сверить правила с реальными адресами услуг, статей, инструментов, категорий и карточек.
Вопросы для ручного аудита
Какой один основной интент закрывает страница?
Один URL не должен конкурировать с соседними материалами.
Как пользователь поймет, что проблема относится к его сайту?
Нужны признаки, примеры и 10-минутная проверка.
Какой следующий шаг ведет к заявке или проверке?
Информационный трафик должен иметь понятный выход в услугу.
Какие источники подтверждают рекомендации?
Статья должна быть проверяемой, особенно в нестабильных темах.
Ошибка, риск и исправление
Ошибка
Важная страница не связана внутренними ссылками.
Риск
Робот и пользователь хуже находят материал, даже если он опубликован.
Что исправить
Добавить ссылки из услуг, инструментов, статей и sitemap.
Ошибка
Один и тот же смысл доступен по нескольким URL.
Риск
Дубли размывают сигналы и ухудшают понятность структуры.
Что исправить
Оставить один канонический URL, настроить canonical или 301-редирект.
Ошибка
Статья не ведет к действию.
Риск
Информационный трафик не превращается в проверку сайта или заявку.
Что исправить
Добавить CTA, связанный инструмент, услугу и блок ручного разбора.
Что проверить за 10 минут
Проверить интент
Один URL должен закрывать один основной вопрос пользователя.
Проверить мета-теги
Title, description и H1 должны быть уникальными и совпадать с содержанием страницы.
Проверить индексацию
Страница должна отдавать 200, быть в sitemap и не иметь случайного noindex/robots-запрета.
Проверить перелинковку
У страницы должны быть входящие ссылки из услуг, статей, инструментов или главной структуры.
Проверить заявку
У читателя должен быть понятный следующий шаг: проверить сайт или перейти к услуге.
План внедрения
Что сделать по шагам
Срок
За 1 день
Фокус
Базовая диагностика
Работа
Проверить интент, title, H1, canonical, sitemap, внутренние ссылки, CTA и видимость формы.
Результат
Понятно, закрывает ли страница свой поисковый и коммерческий сценарий.
Срок
За 1 неделю
Фокус
Усиление страницы
Работа
Добавить примеры, FAQ, ошибки, чек-лист, источники, связанные материалы и понятный следующий шаг.
Результат
Страница становится полезнее для читателя и ближе к заявке.
Срок
За 1 месяц
Фокус
Оптимизация по данным
Работа
Смотреть показы, клики, CTR, заявки, поведение и вопросы клиентов после публикации.
Результат
Дальнейшие правки делаются по фактическому спросу, а не ради объема текста.
Definition of Done
Когда задачу можно считать закрытой
Интент закрыт
Страница отвечает на один основной вопрос и не конкурирует с соседними материалами.
SEO-сигналы чистые
Title, description, H1, canonical, sitemap, schema и внутренние ссылки не противоречат друг другу.
Есть практическая польза
Читатель видит признаки, ошибки, чек-лист, примеры, план внедрения и вопросы для аудита.
Есть коммерческий выход
Материал связан с проверкой сайта, профильной услугой и формой заявки.
Порядок действий
Скачать текущий robots.txt и сохранить его как контрольную версию перед правками.
Проверить самые важные URL вручную: главная, услуги, статьи, инструменты, sitemap.
Убрать или уточнить широкие запреты, если они перекрывают публичные страницы.
Добавить или исправить директиву Sitemap.
После правки проверить файл в Яндекс Вебмастере и Google Search Console.
Что можно проверить автоматически
Доступность `/robots.txt`
Disallow/Allow
Sitemap
User-agent
HTTP-статус
Что требует ручного разбора
Смысл запретов
Влияние на важные URL
Стратегия дублей
AI/поисковые роботы
Когда нужен ручной разбор
Сайт недавно перенесли, обновили или сменили CMS.
Важные страницы не индексируются без очевидной причины.
robots.txt содержит много старых правил от прошлого сайта.
Нужно настроить доступ для поисковых и AI-роботов осознанно.
Официальные источники и справки
Материал сверяется с официальной документацией Яндекса и Google. robots.txt управляет обходом роботов, но не заменяет полноценную SEO-диагностику индексации.
Типичные ошибки
Закрыть весь сайт после разработки и забыть открыть на продакшене.
Пытаться решить дубли только через robots.txt вместо canonical и структуры URL.
Указывать относительный или несуществующий URL sitemap.
Копировать robots.txt с другого сайта без понимания структуры.
Вопросы и ответы
Можно ли закрыть страницу от поиска через robots.txt?
robots.txt запрещает или ограничивает обход. Для управления появлением страницы в индексе нужно отдельно смотреть noindex, canonical, статус ответа и ссылки.
Нужно ли писать Allow: / для всего сайта?
Обычно нет. Если нет запрета, страницы считаются доступными для обхода. Allow чаще используют, чтобы уточнить исключение внутри закрытого раздела.
Связанные материалы
Бесплатные инструменты по теме
Эти проверки помогают быстро применить материал к своему сайту и понять, что отдавать в ручной разбор.