22 октября 2017
Исключение страниц из поисковой базы
Каждый день Яндекс индексирует миллионы страниц и добавляет их в поисковую базу. Чтобы не заполнять ее документами, которые все равно не попадут в результаты поиска, Яндекс анализирует каждый документ с помощью специального алгоритма. Если страница не сможет стать одним из наиболее релевантных ответов на какой-либо запрос, то она не включается в поисковую базу.
Исключение этих страниц из поисковой базы никак не влияет на посещаемость сайта, так как они все равно не появились бы на видимых пользователям позициях. Кроме этого, Яндекс продолжает индексировать и анализировать эти документы точно так же, как и все другие. Если на каком-то этапе алгоритм обнаружит, что страница может попасть в результаты поиска, она будет добавлена в поисковую базу.
На странице правильно заполнены все мета-теги description,
title, keywords, страница соответствует всем требованиям. Почему она не в поиске?
Алгоритм проверяет на страницах сайта не только наличие всех необходимых тегов, но и уникальность, полноту материала, его востребованность и актуальность, а также многие другие факторы. При этом мета-тегам стоит уделять внимание. Зачастую мета-теги description и title создаются автоматически, повторяют друг друга и не ориентированы на удобство для пользователей поисковой системы.
Если на сайте большое количество практически одинаковых товаров, которые отличаются только цветом, размеров или конфигурацией, они тоже могут не попасть в поиск. В этот список можно также добавить страницы пагинации, подбора товара или сравнений, страницы-картинки, на которых совсем нет текстового контента.
Почему страницы сначала пропадают из поиска, а потом возвращаются?
Алгоритм проверяет страницы не один раз, проверка и расчет вероятности показа страницы производятся перед каждым обновлением поисковой базы. Робот индексирует исключенные страницы в обычном режиме и периодически повторно обращается к ним. При повторных обращениях он может отследить произошедшие изменения на странице и учесть их при расчете вероятности показа. Также в сам алгоритм постоянно вносятся изменения и доработки, из-за чего ранее исключенные страницы могут появиться в выдаче.
Почему из схожих по тематике и наполнению страниц одни попадают в поиск, а другие — нет?
Каждая страница оценивается алгоритмом независимо от других, включая страницы того же раздела. Если она будет достаточно релевантна, чтобы появиться в результатах поиска по конкретному запросу в конкретном регионе пользователя, страница попадает в выдачу. На решение алгоритма влияют несколько десятков факторов индексирования и несколько сотен факторов ранжирования. К примеру, если какой-либо товар более востребован пользователями, он может отобразиться в поиске, а менее подходящий товар в выдаче показан не будет.
Первоисточник
