AuditPro
Индекс sitemap из 12 файлов, в robots один старый. Робот читает не то
У магазина индекс карты из двенадцати кусков: товары, статьи, города. В robots.txt одна строка на прошлогодний файл, который уже отдаёт ошибку или не содержит новинок.
Робот не обязан угадывать актуальный набор. Он идёт по тому, что указано в robots, и по тому, что добавлено в Вебмастере. Расхождение «в админке двенадцать файлов, в robots один старый» — штатная причина дыр в обходе поиска.
Проверка короткая: открыть robots, открыть каждый loc индекса, сверить живые адреса. Затем то же в кабинете Вебмастера. Пинг уведомлений карту не чинит: он не подменяет устаревшую ссылку в robots.
Клиенту нужна не галочка «XML валиден», а какая карта объявлена роботу и совпадает ли она с той, по которой ползёте вы. Иначе студия аудирует один файл, поиск — другой.
Одна актуальная точка входа, старые адреса убрать, живые loc с кодом 200. Лимит вашего обхода тоже конечен — не сжигайте его на мёртвый прошлогодний XML.
Robots, индекс карты и живые loc в одном проходе: https://getauditpro.ru — Telegram @denis_ada.
getauditpro.ru