AuditPro
В robots.txt Disallow: / для *, а Яндекс сайт всё равно обходит
Частый отчёт «сайт закрыт от индекса»: в robots.txt для User-agent: * стоит Disallow: /, а для Yandex и Google — отдельные разрезы. Поиск живой. Чекер агентства ходит как * и получает ноль страниц.
Так делают, чтобы отсечь чужие краулеры и скрейперы. Логично для магазина. Плохо, если SEO-отчёт строится тем же «неизвестным» ботом и клиенту говорят: у вас всё закрыто.
Проверьте три файла: что видит Яндекс.Вебмастер (структура / переобход), что видит ваш User-agent, что в Search Console. Если расходятся — сначала robots, не «продвижение встало».
Для аудита договоритесь: либо студия ходит с понятным ботом, который вы прописали в Allow, либо вы на время проверки ослабляете * и не забываете вернуть. Иначе каждый новый сервис будет приносить пустой crawl.
В отчёте это нужно написать прямым текстом: «поиск открыт, закрыты неизвестные роботы». Иначе разработчик бросится снимать Disallow и откроет сайт всем скрейперам.
getauditpro.ru