Карта сайта — список адресов, которые вы считаете достойными индексации. Разбираем, что в неё класть и что нет, чем индекс карт отличается от обычной, почему lastmod чаще вредит, чем помогает, и как понять, что поиск её вообще читает.
- Карта помогает найти страницы, но не заставляет их индексировать.
- В карте должны быть только адреса, отдающие 200 и канонические для себя.
- Редиректы и закрытые страницы в карте — прямой сигнал небрежности.
- Лимит на файл — 50 000 адресов и 50 МБ, дальше нужен индекс карт.
- Врущий lastmod хуже отсутствующего: поиск перестаёт ему доверять.
Зачем нужна карта
Что она даёт
Ускоряет обнаружение страниц, особенно новых и слабо связанных внутренними ссылками. Для крупного сайта это способ сказать поиску, какие адреса вы считаете основными.
Чего она не даёт
Гарантии индексации. Страница из карты, не отвечающая ни на один запрос, останется вне поиска. Карта — приглашение, а не пропуск.
Когда без неё плохо
Когда сайт большой, разделы слабо перелинкованы или страницы появляются пачками. На маленьком сайте с внятной структурой карта почти не влияет на скорость обхода.
Что класть в карту
Только рабочие адреса
Отдающие код 200, доступные для обхода, канонические сами для себя. Всё остальное портит картину: поиск тратит обход на адреса, которые не может взять.
Чего быть не должно
Редиректов, страниц с noindex, закрытых в robots.txt, неканонических версий, страниц пагинации и результатов фильтров, если они не самостоятельные посадочные. Мы регулярно видим карты, где треть адресов отдаёт 301 — это первое, что стоит проверить на своём сайте.
Про lastmod
Ставьте настоящую дату изменения. Массовая простановка сегодняшней даты всем страницам — распространённый приём, после которого поиск перестаёт учитывать этот параметр вообще. Лучше не указывать, чем указывать неправду.
Про приоритет и частоту
Эти параметры почти не влияют на поведение поиска. Тратить время на их расстановку не нужно.
Индекс карт для больших сайтов
Когда нужен
Когда адресов больше 50 000 или файл тяжелее 50 МБ. Плюс когда сайт делится на разделы, которые обновляются с разной частотой — тогда карту удобно разбить по разделам и обновлять по отдельности.
Как устроен
Один файл-индекс перечисляет остальные карты, каждая из которых содержит адреса своего раздела. В поисковых системах указывается только индекс.
Практическая польза
В отчётах видно, сколько адресов найдено в каждой карте по отдельности. Если из карты раздела в поиск попадает четверть адресов, проблема локализована сразу — вы знаете, какой раздел разбирать.
Частая ошибка при переходе
Оставить старую плоскую карту по прежнему адресу и добавить индекс по новому. Поиск продолжит читать первую — ту, что указана в robots.txt и добавлена в кабинете. Переключать нужно там, а не только на сервере.
Как проверить, что карта работает
Смотреть в Вебмастере
Раздел файлов карты сайта показывает дату последнего обращения и число найденных адресов. Расхождение с реальным содержимым файла — сигнал, что поиск читает старую версию или другой файл.
Сверять адреса
Сравните список из карты со списком страниц в поиске. Разница покажет, что именно поиск не берёт, и дальше причины смотрятся в разделе исключённых.
Проверять ответы
Прогоните адреса из карты и посмотрите коды ответов. Все должны быть 200. Наличие 301 и 404 означает, что карта генерируется не из актуального состояния сайта.
Как генерировать карту правильно
Ручная карта живёт до первой правки сайта. Работает только генерация из актуального состояния.
Источник — база опубликованных страниц
Карта должна собираться из того же источника, что и сами страницы: если страница снята с публикации, она исчезает из карты автоматически. Любая ручная синхронизация рано или поздно разъезжается.
Пустые карты и разделы-заготовки
Раздел, где ещё нет наполненных страниц, в карту попадать не должен. Приглашать поиск в пустой раздел — быстрый способ получить исключения с причиной «малополезная страница».
Проверка после каждой волны публикаций
После выкладки новой порции сверьте: число адресов в карте, число страниц в поиске, коды ответов по выборке. Три числа за пять минут показывают, работает ли конвейер публикаций или копит мусор.
Частые вопросы
Не обязательна, но полезна почти всегда. На небольшом сайте с хорошей перелинковкой поиск найдёт всё и без неё. На крупном или быстро растущем — карта заметно ускоряет обнаружение новых страниц.
Ускорит обнаружение, но не индексацию как таковую. Если страница слабая или на неё не ведут внутренние ссылки, наличие в карте её не спасёт. Сначала ссылки и содержание, потом карта.
Поиск потратит на них обход и получит 404 или редирект. Ничего катастрофического, но это признак того, что карта не связана с реальным состоянием сайта. Правильный путь — генерировать её из базы опубликованных страниц, а не поддерживать руками.
Только настоящую. Если проставлять всем страницам сегодняшнее число, поиск быстро перестаёт доверять этому параметру и игнорирует его. Честная дата помогает роботу выбирать, что переобойти в первую очередь.
Сколько угодно, если они перечислены в индексе карт, а в кабинете и robots.txt указан именно индекс. Разбивка по разделам удобна: видно, какой раздел индексируется хуже остальных.
Три вещи: какой адрес указан в robots.txt, какая карта добавлена в кабинете и что реально отдаётся по этому адресу — XML или HTML-страница движка. Чаще всего оказывается, что поиск читает старый файл, а новый лежит рядом и никем не объявлен.