Сайт не индексируется в Яндексе — страницы не попадают в поиск или выпали из индекса. Без индексации SEO бессмысленно: сначала диагностика в Вебмастере, затем устранение блокеров и запрос переобхода. Это фундаментальная проблема, которую нужно решить до начала любой работы по продвижению.
В этом руководстве мы подробно разберём причины отсутствия индексации, чек-лист диагностики, типичные ошибки после релизов и план восстановления. Материал подготовлен командой Search WOW на основе работы с сотнями проектов, столкнувшихся с проблемами индексации.
После решения проблем с индексом — переходите к продвижению в Яндексе. Для срочной помощи — услуга SEO-аудит.
Причины отсутствия индексации: 8 основных проблем
Проблемы с индексацией могут иметь различные причины — от технических ошибок до санкций поисковой системы. Понимание этих причин помогает быстро диагностировать и устранить проблему.
Закрытие в robots.txt или meta noindex. Типичная ошибка после миграции — директива Disallow: / на staging, скопированная на прод. Meta noindex на шаблоне категорий закрывает весь каталог от индексации.
Ошибки 4xx/5xx и редиректы. Бесконечные редиректы, циклы 301, ошибки сервера мешают роботу получить доступ к контенту. Проверяйте логи сервера и отчёты в Вебмастере.
Проблемы с canonical и дублями. Canonical, указывающий не на ту версию URL, массовые дубли контента без правильной разметки. Яндекс выбирает одну версию для индексации, остальные исключает.
Новый сайт без ссылок. Мало внешних ссылок и внутреннего обхода робота. Новым доменам нужно время на накопление доверия и обнаружение страниц.
Фильтры и санкции. Проверьте раздел «Безопасность и нарушения» в Яндекс.Вебмастере. Санкции могут быть наложены за спам, неоригинальный контент или манипуляции.
Медленный хостинг и таймауты. Частые 5xx ошибки, таймауты при обходе, DDoS-защита с капчей для робота. Медленный TTFB снижает краулинговый бюджет.
Дублирование контента. Контент дублирует другой домен без canonical. Яндекс предпочитает индексировать оригинальный источник.
Защита от ботов. Настройки безопасности блокируют Яндекс.Робота вместе с вредоносными ботами. Проверьте настройки firewall и капчи.
Симптомы в Яндекс.Вебмастере
Обращайте внимание на следующие сигналы: раздел «Страницы в поиске» не растёт или падает, рост раздела «Исключённые», ошибки обхода, предупреждения о robots, вирусы, проблемы с безопасностью. Сверяйте с отчётом «Страницы в поиске» динамику за 28 дней для понимания тренда.
Чек-лист: восстановление индексации сайта в Яндексе
Используйте этот пошаговый чек-лист для диагностики и восстановления индексации. Выполняйте пункты последовательно, фиксируя результаты.
Шаг 1: Регистрация в Вебмастере. Добавьте сайт в Яндекс.Вебмастер, подтвердите права одним из способов: DNS-запись, meta-тег или файл verification. Без этого вы не получите доступ к критическим данным об индексации.
Шаг 2: Анализ раздела «Индексирование». Проверьте три подраздела: страницы в поиске, исключённые страницы, страницы в обработке. Сравните текущие цифры с данными месячной давности.
Шаг 3: Проверка sitemap.xml. Отправьте sitemap.xml в Вебмастер, убедитесь в отсутствии ошибок парсинга. Включайте только канонические URL со статусом 200.
Шаг 4: Аудит robots.txt. Исправьте robots.txt — не блокируйте корень сайта (/), категории, CSS/JS файлы. Проверьте через инструмент «Анализ robots.txt» в Вебмастере.
Шаг 5: Проверка canonical и редиректов. Убедитесь, что canonical указывает на правильную версию. Проверьте редиректы http→https, www vs без www — должна быть одна основная версия.
Шаг 6: Уникальность контента. Убедитесь в уникальности контента и отсутствии массовых дублей. Используйте сервисы антиплагиата для проверки.
Шаг 7: Запрос переобхода. Запросите переобход важных URL в Вебмастере после исправления ошибок. Не злоупотребляйте — это не мгновенная индексация.
Если после выполнения всех пунктов за 2–4 недели индекс не растёт — требуется углублённый SEO-аудит с краулингом через Screaming Frog или SiteAnalyzer.
Диагностика по типам проблем индексации
Разные симптомы указывают на разные причины проблем. Правильная идентификация симптома ускоряет поиск решения.
| Симптом | Вероятная причина | Действие | Срок решения |
|---|---|---|---|
| 0 страниц в индексе | robots.txt, noindex, новый домен | Проверить robots, отправить sitemap, добавить ссылки | 1–7 дней |
| Было N страниц, стало 0 | Релиз, санкция, смена домена без 301 | Анализ логов, проверка 301, Вебмастер | 2–6 недель |
| Индексируется мало URL | Дубли, thin content, лимит обхода | Настроить canonical, приоритеты в sitemap | 2–4 недели |
| Долго «в обработке» | Очередь на индексацию, ошибки сервера | Ускорить хостинг, исправить 5xx ошибки | 1–3 недели |
| Выпадают отдельные страницы | Soft 404, дубли canonical, низкое качество | Улучшить контент, исправить разметку | 2–4 недели |
Robots.txt и meta robots: типичные ошибки
Наиболее частая причина проблем с индексацией — ошибки в файле robots.txt и meta-тегах robots.
Типичные ошибки robots.txt
Disallow: / на продакшене. Файл со staging-среды скопировали на прод без изменений. Весь сайт закрыт от индексации.
Блокировка CSS и JS. Директивы, блокирующие файлы стилей и скриптов, мешают роботу правильно отрендерить страницу.
Неправильный User-Agent. Правила написаны для Googlebot, а не для Yandex/Яндекс.Робота.
Отсутствие Sitemap. Директива Sitemap не указана в robots.txt, робот медленнее находит новые страницы.
Ошибки meta robots
noindex на шаблоне. Meta noindex добавлен в шаблон категорий или товаров и закрывает весь каталог.
nofollow на внутренних ссылках. Робот не переходит по ссылкам, не обнаруживает новые страницы.
X-Robots-Tag в заголовках. Сервер передаёт noindex через HTTP-заголовок, что не видно в HTML-коде.
Проверяйте исходный код страниц и HTTP-заголовки через инструменты разработчика. В Вебмастере есть инструмент «Проверка ответа сервера» для диагностики.
Sitemap и внутренние ссылки
Sitemap не гарантирует индекс, но ускоряет обнаружение страниц. Включайте только канонические URL со статусом 200. Обновляйте sitemap при добавлении новых разделов.
Внутренняя перелинковка с главной страницы и контент-хабов ведёт робота в глубину каталога. Чем ближе страница к главной в структуре ссылок, тем быстрее она индексируется.
Новый сайт: как ускорить первую индексацию
Новые сайты сталкиваются с естественной задержкой индексации. Яндекс нуждается во времени, чтобы оценить качество ресурса и доверие к нему.
Методы ускорения индексации нового сайта
Внешние ссылки с индексируемых ресурсов. Разместите ссылки на сайт с авторитетных ресурсов: партнёры, каталоги, социальные сети, профильные форумы.
Яндекс.Вебмастер и sitemap. Обязательно добавьте сайт в Вебмастер, отправьте sitemap.xml, запрашивайте переобход новых страниц.
Уникальные страницы с контентом. Не оставляйте пустых разделов-заглушек. Каждая страница должна иметь уникальный полезный контент.
Яндекс.Бизнес и Карты. Для локального бизнеса добавьте компанию в Яндекс.Бизнес и Карты с корректным NAP (Name, Address, Phone).
Регулярное обновление. Добавляйте новый контент регулярно — это сигнал активности сайта для поисковой системы.
Не ждите, что сайт «само проиндексируется». Активные действия по обнаружению страниц сокращают срок первой индексации с 4–8 недель до 1–2 недель.
После редизайна и смены CMS
Миграция сайта — критический момент для индексации. Ошибки на этом этапе могут привести к потере позиций и трафика на месяцы.
Обязательные действия после миграции
Карта 301 редиректов. Составьте карту соответствия старых URL новым. Настройте 301 редиректы со всех старых страниц на новые. Без 301 теряется индекс и позиции — подробнее в статье падение позиций.
Проверка цепочек редиректов. Убедитесь, что нет цепочек из нескольких редиректов. Один редирект 301 — оптимально.
Обновление sitemap.xml. Sitemap должен содержать только новые URL. Удалите старые адреса из карты сайта.
Проверка canonical. Убедитесь, что canonical на новых страницах указывают на сами себя, а не на старые URL.
Полный SEO-аудит. После миграции обязателен полный SEO-аудит для выявления скрытых проблем.
Кейс: B2B-портал после переезда
Проблема: После переезда на новый домен без 301 индекс упал с 1 200 до 80 URL.
Восстановление: Карта редиректов за 5 дней, переобход приоритетных страниц, исправление canonical на всех шаблонах.
Результат: Через 6 недель — 940 URL в поиске, 70% позиций восстановлено, трафик вернулся на 85% от исходного уровня.
Типичные ошибки при работе с индексацией
- Забыли снять noindex после разработки. Закрыли сайт noindex на время разработки и забыли снять перед запуском.
- Две версии http/https в индексе. Нет склейки зеркал, обе версии индексируются отдельно, контент дублируется.
- Бесконечные параметры в индексе. Параметры ?sort=, ?filter=, ?page= индексируются без canonical, создают тысячи дублей.
- Ожидание индекса без контента. Размещают «Coming soon» на всём домене и ждут индексации. Пустые страницы не индексируются.
- Игнорирование Вебмастера. Не смотрят Вебмастер месяцами, пропускают критические уведомления об ошибках.
- Массовый запрос переобхода. Запрашивают переобход всех страниц сразу вместо приоритетных. Это не ускоряет индексацию.
- Копирование контента с других сайтов. Яндекс предпочитает оригинальный источник, дублированный контент не индексируется.
Когда нужен технический SEO-аудит
Если за 2–4 недели после правок индекс не растёт — требуется профессиональный SEO-аудит с краулингом через Screaming Frog или SiteAnalyzer.
Что ищет технический аудит
Скрытые noindex. Meta-теги или заголовки, закрывающие страницы от индексации, которые не видны при поверхностной проверке.
Ошибки редиректов. 302 вместо 301, цепочки редиректов, битые ссылки, циклы перенаправлений.
Проблемы рендеринга JavaScript. SPA без SSR часто отдают пустой HTML роботу. Решения: серверный рендер, пререндер, динамический рендеринг для ботов.
Проверка «Просмотр как робот». В Вебмастере есть инструмент, который показывает, как робот видит страницу. Сравните с исходным кодом в браузере — если есть расхождения, проблема с рендерингом.
Без индексируемого HTML оптимизация бессмысленна. Сначала обеспечьте доступ робота к контенту, затем работайте над позициями.
Мультиязычность и hreflang
Неверный hreflang и дубли языковых версий без canonical путают робота. Для России чаще достаточно одной русской версии; лишние /en/ страницы без контента закрывайте noindex.
FAQ: часто задаваемые вопросы об индексации
Как проверить, индексируется ли конкретная страница?
Введите запрос site:ваш-домен.ru/путь в Яндексе или используйте инструмент «Проверка страницы» в Вебмастере. Если нет в выдаче — смотрите раздел «Исключённые», проверяйте robots, canonical и код ответа сервера.
Сколько ждать индексации новой страницы?
От нескольких часов до 2–4 недель в зависимости от веса домена и ссылок на URL. Ускорение: sitemap, внутренние ссылки с главной, переобход в Вебмастере. Новые сайты индексируются медленнее.
Помогает ли «Добавить URL» вручную?
В Вебмастере это запрос переобхода, а не мгновенная индексация. Полезно после исправления ошибки на конкретной странице. Массово подменять нормальную архитектуру и sitemap не стоит.
Может ли хостинг быть причиной проблем?
Да: частые 5xx ошибки, таймауты, геоблокировка, DDoS-защита с капчей для робота. Проверьте логи сервера и uptime. Медленный TTFB снижает краулинговый бюджет и приоритет обхода.
Индексация есть, позиций нет — это другое?
Да. Индексация — страница в базе Яндекса. Позиции — релевантность, конкуренция, техника, ссылки. Дальше нужна оптимизация и продвижение. Если URL в индексе месяцами без показов — проверьте thin content, дубли title и совпадение интента с SERP.
Как быстро восстанавливается индекс после исправления?
После исправления ошибки запланируйте 2–4 недели мониторинга. Запросите переобход приоритетных страниц в Вебмастере. Мгновенного возврата не бывает — роботам нужно время на переоценку.
Индексация после миграции на HTTPS
Переезд на HTTPS требует правильной настройки для сохранения индексации.
Пошаговая инструкция миграции на HTTPS
Единый 301 редирект. Настройте 301 с http на https для всех страниц. Проверьте, что нет страниц, доступных по обоим протоколам.
Обновление sitemap и ссылок. Sitemap должен содержать только https-версии. Обновите все внутренние ссылки на https.
Настройка в Вебмастере. Добавьте https-версию сайта, подтвердите права, установите «главное зеркало» в настройках.
Проверка смешанного контента. Убедитесь, что все ресурсы (изображения, скрипты, стили) загружаются по https. Смешанный контент вызывает предупреждения безопасности.
Смешение версий в индексе временно дублирует страницы и режет позиции. После склейки запросите переобход приоритетных URL.
Массовое исключение страниц из индекса
Если из индекса выпало много URL сразу — это критическая ситуация, требующая немедленной диагностики.
Алгоритм действий при массовом выпадении
Шаг 1: Анализ шаблона. Смотрите общий noindex в шаблоне, смену CMS, блокировку по User-Agent, настройки DDoS-защиты.
Шаг 2: Точечные проблемы. Дубли canonical, soft 404, проблемы с редиректами влияют на отдельные страницы.
Шаг 3: Экспорт данных. Экспорт «Исключённые» из Вебмастера в таблицу ускоряет поиск паттерна. Фильтруйте по причинам исключения.
Шаг 4: Исправление и мониторинг. После исправления не ждите мгновенного возврата — запланируйте 2–4 недели мониторинга и переобход приоритетных страниц в Вебмастере.
Итог: восстановление индексации шаг за шагом
Сайт не индексируется в Яндексе — проблема решаемая при системном подходе. Начните с диагностики в Вебмастере, устраните технические блокеры, запросите переобход и мониторьте восстановление.
Ключевые принципы работы с индексацией
- Сначала индексация, потом продвижение — без доступа робота к контенту SEO не работает.
- Регулярно проверяйте Вебмастер — минимум раз в неделю для новых сайтов.
- Исправляйте ошибки приоритетно — сначала критические, потом второстепенные.
- Не ждите мгновенных результатов — восстановление занимает 2–6 недель.
- Документируйте изменения — фиксируйте дату правок для отслеживания эффекта.
В Search WOW мы проводим технический SEO-аудит: индексация, дубли, скорость, 150+ параметров — бесплатно для новых клиентов. Записаться на аудит.
Помните: индексация — фундамент SEO. Инвестиция времени в правильную настройку окупается стабильным присутствием сайта в поиске и устойчивым органическим трафиком. Не откладывайте диагностику — каждый день без индексации это потерянные посетители и потенциальные клиенты.