SEO
Почему сайт не индексируется в Яндексе
Редакция: сайты, заявки, SEO и РКН-контур
Если сайт не индексируется в Яндексе, причина не всегда в одном robots.txt. Нужно проверить доступность страниц, карту сайта, canonical, дубли, качество контента и состояние сайта в Яндекс Вебмастере.
Короткий ответ
Индексация начинается с технической доступности: страница должна отдавать 200, быть открыта для робота, присутствовать в нормальной внутренней структуре и не конфликтовать с canonical или noindex.
Sitemap помогает Яндексу узнать об актуальных URL, но не гарантирует попадание каждой страницы в поиск. Если страница слабая, дубль или закрыта технически, одного sitemap.xml недостаточно.
Правильная диагностика идет от простого к сложному: статус ответа, robots.txt, meta robots, canonical, sitemap, внутренняя ссылка, качество страницы, затем проверка в Яндекс Вебмастере.
Почему это важно
Без индексации SEO-страницы не могут приносить поисковые заявки.
Проблемы индексации часто маскируются под слабое продвижение, хотя причина техническая.
Раннее обнаружение ошибок дешевле, чем переписывать контент после месяцев без результата.
Как понять на практике
Страница есть на сайте, но ее нет в поиске
Проверьте точный URL в Яндекс Вебмастере и убедитесь, что страница доступна роботу, а не только пользователю в браузере.
Sitemap загружен, но эффекта нет
Sitemap сообщает о структуре, но не исправляет закрытые страницы, дубли, слабый контент и ошибки canonical.
После редизайна пропали старые страницы
Частая причина - смена URL без карты редиректов, потеря текстов, неправильная 404 или новый robots.txt.
Внешние ориентиры
Что берем из практики и официальных источников
Редакционный разбор
Как смотреть на проблему глубже
Индексация ломается не только из-за robots.txt
Страница может быть открыта в браузере и отсутствовать в поиске из-за статуса ответа, noindex, неправильного canonical, дубля, отсутствия внутренних ссылок, слабого контента, 404 после редизайна или проблем в Яндекс Вебмастере. Поэтому диагностика идет по всей цепочке доступа, а не по одному файлу.
Sitemap помогает обнаружить URL, но не гарантирует индекс
Sitemap сообщает поиску об актуальных страницах, но сам по себе не делает слабую или закрытую страницу индексируемой. Если URL в sitemap редиректит, закрыт, дублируется или не имеет ценности, проблема останется. Сначала чистим сигналы, затем отправляем страницу на переобход.
Примеры из открытой практики
Как применить это к своему сайту
Страница есть в CMS, но поисковик видит противоречивые сигналы
Google Search Central и Яндекс ВебмастерПаттерн
Для индексации важны статус ответа, доступ робота, canonical, noindex, sitemap, внутренние ссылки и качество страницы.
Как выглядит на сайте
URL есть в sitemap, но canonical указывает на главную, внутренняя ссылка отсутствует, а старый редирект ведет через цепочку.
Что делает Webpot
Мы проверяем серверный ответ, robots.txt, meta robots, canonical, sitemap, 301/404, внутренние ссылки и статус URL в Вебмастере.
После редизайна исчезает не трафик, а старые входы
Google redirects и Яндекс ВебмастерПаттерн
При переносе старые адреса должны вести на релевантные новые страницы, а sitemap и внутренние ссылки должны содержать финальные URL.
Как выглядит на сайте
Старые страницы услуг отдают 404 или редиректят на главную, а новые страницы не получили входящих ссылок и не попали в sitemap.
Что делает Webpot
Мы собираем карту старый URL -> новый URL, проверяем 301, canonical, sitemap, формы, цели и заявки после запуска.
Что сверить по сайту
Участок
Доступ
Проверка
Проверить 200/301/404, robots.txt, meta robots, X-Robots-Tag и загрузку HTML.
Зачем
Поисковый робот должен иметь возможность получить страницу и увидеть ее содержимое.
Участок
Сигналы
Проверка
Сверить canonical, sitemap, внутренние ссылки, title и H1.
Зачем
Противоречивые сигналы мешают выбрать страницу для индекса.
Участок
Вебмастер
Проверка
Проверить статус URL, ошибки обхода, качество страниц и переобход в Яндекс Вебмастере.
Зачем
Официальные инструменты показывают, как поисковик видит сайт.
Критерии решения
Как понять, что делать дальше
Критерий
Индексируемость
Норма
Страница отдает 200, открыта роботам, есть в структуре и имеет корректный canonical.
Риск
URL опубликован, но закрыт, дублируется или не связан внутренними ссылками.
Действие
Проверить статус, robots, sitemap, canonical и внутреннюю перелинковку.
Критерий
Коммерческий путь
Норма
Читатель понимает проблему, видит решение и может перейти к проверке или услуге.
Риск
Статья дает информацию, но не ведет к действию.
Действие
Добавить CTA, профильную услугу, связанный tool и понятный следующий шаг.
Критерий
Доказательность
Норма
Есть источники, примеры, ошибки, чек-лист и границы ответственности.
Риск
Материал выглядит как общий SEO-текст без проверки и практической ценности.
Действие
Добавить source-backed examples, таблицу ошибок и вопросы для ручного аудита.
Типовая ситуация
страница есть, но Яндекс ее не видит
Типовые ситуации в статье обобщают частые ошибки сайтов и не являются описанием конкретного клиента. Перед публикацией юридически чувствительные формулировки нужно проверять с профильным специалистом.
Ситуация
Услуга опубликована на сайте, но URL отсутствует в поиске. В sitemap страница есть, но canonical указывает на главную.
Как лучше
Исправляют canonical, проверяют статус 200, внутреннюю ссылку, robots.txt и отправляют URL на переобход в Вебмастере.
Вывод
Sitemap не компенсирует противоречивые сигналы на самой странице.
Чек-лист
Проверить HTTP-статус страницы: нужен 200 для индексируемой страницы.
Проверить robots.txt, meta robots и X-Robots-Tag.
Проверить canonical: он не должен указывать на чужую или неправильную страницу.
Проверить наличие URL в sitemap.xml и внутренних ссылках.
Проверить страницу в Яндекс Вебмастере и сравнить с Google Search Console.
Вопросы для ручного аудита
Какой один основной интент закрывает страница?
Один URL не должен конкурировать с соседними материалами.
Как пользователь поймет, что проблема относится к его сайту?
Нужны признаки, примеры и 10-минутная проверка.
Какой следующий шаг ведет к заявке или проверке?
Информационный трафик должен иметь понятный выход в услугу.
Какие источники подтверждают рекомендации?
Статья должна быть проверяемой, особенно в нестабильных темах.
Ошибка, риск и исправление
Ошибка
Важная страница не связана внутренними ссылками.
Риск
Робот и пользователь хуже находят материал, даже если он опубликован.
Что исправить
Добавить ссылки из услуг, tools, статей и sitemap.
Ошибка
Один и тот же смысл доступен по нескольким URL.
Риск
Дубли размывают сигналы и ухудшают понятность структуры.
Что исправить
Оставить один канонический URL, настроить canonical или 301-редирект.
Ошибка
Статья не ведет к действию.
Риск
Информационный трафик не превращается в проверку сайта или заявку.
Что исправить
Добавить CTA, связанный инструмент, услугу и блок ручного разбора.
Что проверить за 10 минут
Проверить интент
Один URL должен закрывать один основной вопрос пользователя.
Проверить мета-теги
Title, description и H1 должны быть уникальными и совпадать с содержанием страницы.
Проверить индексацию
Страница должна отдавать 200, быть в sitemap и не иметь случайного noindex/robots-запрета.
Проверить перелинковку
У страницы должны быть входящие ссылки из услуг, статей, tools или главной структуры.
Проверить заявку
У читателя должен быть понятный следующий шаг: проверить сайт или перейти к услуге.
План внедрения
Что сделать по шагам
Срок
За 1 день
Фокус
Базовая диагностика
Работа
Проверить интент, title, H1, canonical, sitemap, внутренние ссылки, CTA и видимость формы.
Результат
Понятно, закрывает ли страница свой поисковый и коммерческий сценарий.
Срок
За 1 неделю
Фокус
Усиление страницы
Работа
Добавить примеры, FAQ, ошибки, чек-лист, источники, связанные материалы и понятный следующий шаг.
Результат
Страница становится полезнее для читателя и ближе к заявке.
Срок
За 1 месяц
Фокус
Оптимизация по данным
Работа
Смотреть показы, клики, CTR, заявки, поведение и вопросы клиентов после публикации.
Результат
Дальнейшие правки делаются по фактическому спросу, а не ради объема текста.
Definition of Done
Когда задачу можно считать закрытой
Интент закрыт
Страница отвечает на один основной вопрос и не конкурирует с соседними материалами.
SEO-сигналы чистые
Title, description, H1, canonical, sitemap, schema и внутренние ссылки не противоречат друг другу.
Есть практическая польза
Читатель видит признаки, ошибки, чек-лист, примеры, план внедрения и вопросы для аудита.
Есть коммерческий выход
Материал связан с проверкой сайта, профильной услугой и формой заявки.
Порядок действий
Собрать список важных URL, которые должны быть в поиске.
Проверить технический доступ: статус ответа, редиректы, robots.txt, noindex, canonical.
Сверить sitemap.xml и внутренние ссылки с реальной структурой сайта.
Оценить качество страниц: уникальность, полнота ответа, коммерческая польза, дубли.
Зафиксировать причины по группам: закрыто технически, дубль, слабая страница, проблема после переезда.
Что можно проверить автоматически
HTTP-статус
robots.txt
meta robots
canonical
sitemap.xml
H1/title
Что требует ручного разбора
Качество страницы
Дубли и каннибализация
Коммерческая ценность
Причина исключения в Вебмастере
Когда нужен ручной разбор
Важные страницы не появляются в Яндексе после публикации.
После редизайна или переноса сайта упали показы и заявки.
В sitemap много URL, но поискового трафика почти нет.
Нужно отделить техническую ошибку от проблемы качества контента.
Официальные источники и справки
Рекомендации сверяются с официальными справками Яндекс Вебмастера и Google Search Console. Индексация не гарантируется автоматически: поисковая система сама решает, какие страницы включать в выдачу.
Типичные ошибки
Ждать индексации, не проверив запрет в robots.txt или meta robots.
Добавить URL в sitemap, но оставить canonical на другую страницу.
Создать много похожих страниц услуг без уникального смысла.
После редизайна удалить старые URL без 301-редиректов.
FAQ
Если страница есть в sitemap, она обязана индексироваться?
Нет. Sitemap помогает роботу узнать об URL, но не гарантирует индексацию, если страница закрыта, дублирует другую или не выглядит достаточно полезной.
Что проверить первым?
HTTP-статус, robots.txt, meta robots, canonical и наличие страницы во внутренних ссылках. Это быстро отсекает грубые технические ошибки.
Связанные материалы
Бесплатные инструменты по теме
Эти проверки помогают быстро применить материал к своему сайту и понять, что отдавать в ручной разбор.