Три этапа, через которые проходит любая страница: обход, индексирование, ранжирование. Понимание этой цепочки объясняет большинство проблем — от «страницы нет в поиске» до «сайт есть, а трафика нет».
- Обход — робот скачивает страницу. Индексирование — решает, брать ли её. Ранжирование — где показать.
- Проблема почти всегда локализуется на одном из трёх этапов, и лечится по-разному.
- Страница вне индекса не ранжируется никак — сначала индексация, потом позиции.
- Краулинговый бюджет ограничен: мусорные адреса съедают обход нужных.
- Генеративные ответы собираются из тех же проиндексированных страниц.
Этап 1. Обход
Как робот находит страницы
По ссылкам с уже известных страниц и по карте сайта. Страница, на которую не ведёт ни одна ссылка и которой нет в карте, может не найтись вовсе.
Краулинговый бюджет
Робот скачивает ограниченное число страниц в сутки. На сайте с тысячами мусорных адресов бюджет уходит на них, а новые страницы ждут очереди неделями.
Что мешает обходу
Запрет в robots.txt, медленный ответ сервера, защита от ботов, отдающая роботу заглушку. Последнее особенно коварно: для человека сайт работает нормально.
Этап 2. Индексирование
Решение о включении
Скачанная страница оценивается: есть ли на ней содержание, не дублирует ли она другие, отвечает ли на какой-то запрос. Отказ виден в отчёте с причиной.
Выбор канонической версии
Если несколько адресов дают похожее содержимое, поиск выбирает один. Ваше указание учитывается, но не всегда принимается — при противоречивых сигналах выбор делает система.
Почему страницу могут не взять
Тонкое содержание, дубль по смыслу, отсутствие внутренних ссылок. Подробный разбор восьми причин — на странице про индексацию.
Этап 3. Ранжирование
Что происходит при запросе
Из индекса отбираются подходящие страницы, затем выстраиваются по сотням признаков. Это происходит в момент запроса, а не заранее.
Почему выдача разная у разных людей
Учитываются регион, устройство, история поиска. Поэтому «я вижу себя на третьем месте» ничего не значит: смотреть нужно среднюю позицию по показам в кабинете вебмастера.
Как сюда встроены генеративные ответы
Система берёт несколько документов из того же индекса и пересказывает их. Страница вне индекса и вне топа в такой ответ не попадёт — это первое, что нужно понимать про видимость в нейросетях.
Частые вопросы
Индексация и ранжирование — разные этапы. Страница может быть в базе, но показываться на пятой странице выдачи, где её никто не видит. Смотрите показы в кабинете вебмастера: если их нет совсем, вы попали в кластер без спроса или слишком конкурентный.
Регулярными публикациями, внутренними ссылками на новые страницы и чисткой мусорных адресов. Робот приходит чаще туда, где что-то меняется. Отправка на переобход помогает точечно, но не меняет общий темп.
Это число страниц, которые робот готов скачивать с вашего сайта. На сайтах до нескольких сотен адресов о нём можно не думать. На тысячах он становится главным ограничением: если половина обхода уходит на страницы фильтров и дубли, новые материалы ждут неделями.
Из-за персонализации: поиск учитывает вашу историю, а вы заходили на свой сайт сотни раз. Реальную картину даёт средняя позиция по показам в кабинете вебмастера — она усредняет всех, кто видел вас в выдаче.
Напрямую: генеративный ответ собирается из документов, отобранных из того же индекса, и берёт в основном верхушку выдачи. Поэтому работа над видимостью в нейросетях начинается не с особых приёмов, а с попадания в топ обычного поиска.
Достаточно, чтобы страница была доступна и на неё вели ссылки с уже известных поиску страниц. Дополнительно помогает карта сайта. Специальных заявок для попадания в индекс не требуется — они лишь ускоряют первый визит робота.