Несколько месяцев назад вебмастеры и владельцы сайтов заметили проблемы с индексацией контента в Google (и в ITForce тоже). Много страниц имеют статус “Исключено – Обнаружена, не проиндексирована”. Если раньше попасть в индекс можно было за несколько дней, то сейчас ждать показа страниц в поиске приходится несколько недель.
Разобрались, в чем причина таких задержек и делимся ниже наблюдениями и выводами.
Народ беснуется, заваливает форумы сообщениями, а как по-другому: продающие страницы, уникальный контент – все, что уже могло принести продажи и трафик, пылится на полках гуглбота, ожидая очереди, которая непонятно когда и как дойдет до них и дойдет ли вообще.
Не всегда все так очевидно на первый взгляд – вот возможные причины, по которым индексация вашего контента на данный момент не выполняется. Или выполняется достаточно долго.
Крупные апдейты Google всегда на слуху, потому что выдачу основательно трясет пару-тройку дней. Кто-то проседает, кто-то поднимается. Мы уже писали про июньский core update, который стал первой частью обновлений по внедрению факторов Page Experience (в т. ч. Core Web Vitals).
Рис. 1 – Представление Page Experience в Search Console
Процесс развертывания должен занять все лето, а как раз во время выкатывания обнов чаще всего и происходят баги в выдаче.
Рис. 2 – Розовые и желтая вертикальные линии показывают подтвержденные обновления алгоритма (RankRanger)
Глобальный апдейт – одна из возможных причин. Тем более, что в июне также запустили 2 части обновления по защите от спама. Они призваны защитить пользователей от мошеннических действий в сети и очистить выдачу от сайтов, на которых выманивают деньги и личные данные.
Обновления ядра направлены на улучшение поисковой выдачи, поисковик намеренно сайты не пессимизирует. Но алгоритмы постоянно меняются, и это влияет на многие ресурсы одновременно.
Один из самых значимых факторов ранжирования – способность информации удовлетворить запрос пользователя. Если это так, Google готов пододвинуть остальные факторы, потому что главная задача поисковика будет выполнена.
Рис. 3 – Ответ эксперта по продуктам Google на вопрос об индексации
Рис. 4 – Ответ на вопрос об отсутствии страниц в индексе даже после их ручного внесения в индекс
Со стороны поиска к контенту на странице предъявляются требования, выполняя которые пользователи обязательно смогут найти вас в поиске. Итак, текст на странице должен быть:
Никаких дубликатов и повторений быть не должно, поэтому следите за уникальностью и не копируйте бездумно. Не поможет.
Метатег noindex размещается в коде страницы и запрещает индексировать контент, а в случае с уже проиндексированной страницей исключает ее из индекса.
В любом случае при внесении изменений в метатег или директивы, роботу нужно время, чтобы обработать их и обновить информацию в индексе согласно актуальному состоянию.
Рис. 4 – Ответ о запрете индексации
Возможно, проблема в коде страницы, тогда придется вручную смотреть – анализировать страницы с помощью Google Search Console и искать проблему.
На деле таких проблем может быть много. Где-то недосмотрел, не дописал, не заполнил, и все – в поиске страницы уже не найти.
Чаще всего можно встретить такие ошибки:
Рис. 5 – Ответ на форуме Google
Под большинством вопросов на форуме ответы стандартные: проверьте то, то. Но есть и те, где владельцы сайтов и вебмастера упорно доказывают, что с сайтом и страницами все ок, что раньше такого не было…
Рис. 6 – Вот такой последний ответ для многих вопросов
На такие вопросы отвечают эксперты, дают рекомендации, а потом банят ветку, либо оставляют без ответа. Если читать форум сверху вниз, такая картина прослеживается периодически, нельзя сказать часто. Это наводит на мысль, что проблема (боль) не решается, а просто купируется. И разобраться можно либо самостоятельно по отчетам из Google Search Console, или ждать, пока бот начнет работать активнее.
Upd. Официальная информация от Google о проблемах с индексацией от 17.08.2021.
В США запустили инструмент, который указывает на проблемы с индексацией. Теперь владельцы сайтов могут сообщить об ошибках в индексации страниц.
Инструмент пока что доступен только владельцам сайтов США, которые подтвердили право собственности на сайт в Search Console. Находится он в нижней части Справочного центра – под документами, посвященными отчету об индексировании и инструменту проверки URL.
Чтобы сообщить о проблемах с индексацией напрямую в Google, нужно нажать на кнопку Report an Indexing Issue и заполнить форму, которая открывается после этого.
Google сообщает, что может запросить у владельца сайта дополнительную информацию о проблеме, если обнаружится ошибка индексации.
Upd. Об ошибке 500 за 18.08.2021.
Как уведомления об ошибке 500 в Search Console в ответ на сканирование Googlebot влияют на видимость сайта в поиске?
Сотрудник Google Джон Мюллер ответил, что если Googlebot сталкивается с кодом ответа сервера 500, то старается попасть на страницы снова и снова. Если ошибка все еще повторяется, то Google замедляет сканирование. Если же спустя время ошибка 500 не исчезает, поисковик удаляет URL-адреса с ошибками из индекса.
Кроме того, стало известно – Googlebot сам вызывает перегрузку сервера. Из-за этого он и замедляет сканирование. Тем не менее у поисковика нет жестких значений, при которых Google решает, что сделано много запросов, получено много ошибок, следовательно, пора замедлять сканирование.
После изучения сообщений из форума выяснилось, что проблемы с индексацией новых страниц и переиндексацией существующих начались где-то с апреля. Причины часто относятся к уникальности контента и степени оптимизации проекта. Но субъективно кажется, что гуглбот просто глючит или же навалило столько обнов, что он не справляется – поэтому большинство страниц зависло на стадии Просканирована, но не проиндексирована.
Если говорить о сайтах, где есть ошибки – там нужно проводить техаудит, изучать контент и исправлять все недочеты. Изучите нашу статью с советами по улучшению индексации, которая поможет быстрее разобраться с проблемами индексации.
А тем, у кого при проверке не выдает ошибок, нужно просто ждать. В Google уже точно заметили жалобы от вебмастеров. А значит и поправить должны. Только пока непонятно, когда.
