Плохая индексация сайта — частая причина того, что поисковики перестают показывать страницы, даже если контент на них качественный. Ниже — основные признаки, на которые стоит обратить внимание, и как быстро понять, что именно идет не так.

1) В поиске резко меньше страниц, чем ожидалось

Один из самых заметных сигналов — сокращение количества проиндексированных страниц по сравнению с историей сайта или прогнозом (например, после миграции, смены CMS или обновления структуры). Если число страниц «падает» без понятной причины, это почти всегда повод проверить доступность, индексационные правила и качество обхода.

2) Нет органического трафика по небрендовым запросам

Когда сайт почти не получает показов и кликов по небрендовым запросам, причина может быть в том, что страницы не попадают в индекс или не ранжируются из‑за технических факторов. Даже при наличии контента поисковик должен сначала корректно проиндексировать страницы.

Дополнительный маркер — в отчетах видно, что многие URL имеют статус «исключены» или «не проиндексированы» по техническим причинам.

3) В Google Search Console много URL с ошибками индексации

В Search Console проверьте разделы, связанные с индексацией: статус страниц, причины исключения и связанные проблемы обхода. К типичным сигналам относятся страницы, которые:

• блокируются robots.txt или правилами индексации;
• имеют проблемы с каноникалами;
• возвращают ошибки сервера (например, 5xx) или не отдают корректный код ответа;
• помечены как «альтернативная страница с канонической» и фактически выбраны не те URL.

Если отчеты демонстрируют массовость таких причин, индексирование системно «ломается», а не ограничивается одной страницей.

4) Проблемы с обходом: краулинговый бюджет и скорость отдачи

Даже при правильной разметке страницы могут не успевать индексироваться, если поисковому роботу сложно обойти сайт. На практическом уровне это проявляется тем, что новые/обновленные URL долго не появляются в индексе, а сервер отвечает медленно или нестабильно.

Стоит проверить логические причины: чрезмерную вложенность, циклы редиректов, дубли контента, слишком долгую загрузку, а также ошибки рендеринга (если страница зависит от JavaScript и не отдается контент сразу).

5) Robots.txt и мета-теги непреднамеренно блокируют индексацию

Очень частая ситуация — сайт настроен так, что часть страниц исключена из индекса по ожиданию разработчиков, но это переносится в продакшн. Например, включены правила в robots.txt, которые запрещают доступ к важным URL, или на страницах присутствуют директивы вроде noindex.

Отдельно проверьте канонические теги: если canonical указывает на другой URL или на страницу, которая исключена, поисковик может не включать нужный адрес в индекс.

6) Нет/плохо настроена карта сайта и она не отражает реальную структуру

Если XML sitemap отсутствует, устарел или включает URL, которые нельзя индексировать, эффект будет обратным: Search Console укажет на несоответствия, а робот будет тратить ресурсы на «неподходящие» адреса. Хорошая практика — обновлять sitemap и следить, чтобы в нем были только страницы, которые действительно должны попасть в индекс.

Также важно, чтобы sitemap не содержал массовых дублей и страниц с ошибками ответов (404/410/5xx).

Что сделать в первую очередь

Если вы подозреваете плохую индексацию, обычно быстрее всего начать с диагностики через Search Console: найти самые массовые причины «исключено/не проиндексировано», затем проверить доступность URL, каноникал и правила robots.txt.

Дальше — исправить проблемы на уровне шаблонов (теги, редиректы, ответы сервера), обновить sitemap и дать поисковику время на повторный обход. По результатам удобно отслеживать динамику: растет ли число валидных URL в индексе и уменьшаются ли причины исключения.