Что проверяет этот инструмент
Он анализирует технические условия для попадания в индекс. Это не гарантия индексации Гуглом, но быстрый поиск явных блокировок.
- Проверяет статус HTTP и факт редиректа.
- Читает правила robots.txt для выбранного бота.
- Находит сигналы noindex в коде и HTTP-заголовках.
- Сверяет каноническую цель с финальным URL.
Когда проверять индексацию
Если страница найдена, но не в индексе; перед запуском новых разделов; при падении трафика или при ошибках в Search Console.
- Перед отправкой важных URL на переобход.
- После миграций или правок в шаблонах.
- Если страницы есть в карте сайта, но их нет в выдаче.
- Если сайт доступен пользователям, но 'невидим' для поисковиков.
Как понимать результаты
Страница может быть индексируемой технически, но не попадать в поиск из-за низкого качества или отсутствия ссылок. Начните с техники.
- Ошибки HTTP — критические блокировки до исправления.
- Disallow в robots закрывает путь боту, но не всегда скрывает URL.
- Noindex — прямой запрет на хранение страницы в базе поисковика.
- Склейка (canonical) означает, что этот URL не выбран основным.
Частые ошибки
Многие смотрят только на браузер. Поисковики видят другой набор сигналов, и один скрытый заголовок может закрыть целый раздел.
- Не забывайте про X-Robots-Tag в PDF и медиа-файлах.
- Тестируйте разных ботов, если правила для них отличаются.
- Карта сайта не отменяет правила noindex или robots.txt.
- Страницы с каноникалом на другой URL не считаются независимыми целями.
Дальнейшие шаги
Если страница в блоке — проверьте весь тип страниц. Проблемы часто тиражируются на все товары или статьи блога.
- Используйте генератор robots.txt для правки правил доступа.
- Проверьте каноникалы, если страница ссылается на другой адрес.
- Проверьте карту сайта на наличие индексируемых страниц.
- Используйте Spider Analysis для массовой проверки блокировок.
- Документируйте задачи для разработчиков с привязкой к данным.