заказать звонок
+38 057 782-28-00
заказать звонок
Starting a new project?
получить консультацию
Читайте наш Telegram 👈
139
7

Несколько месяцев назад вебмастеры и владельцы сайтов заметили проблемы с индексацией контента в Google (и в ITForce тоже). Много страниц имеют статус "Исключено - Обнаружена, не проиндексирована". Если раньше попасть в индекс можно было за несколько дней, то сейчас ждать показа страниц в поиске приходится несколько недель. 

Разобрались, в чем причина таких задержек и делимся ниже наблюдениями и выводами.

Народ беснуется, заваливает форумы сообщениями, а как по-другому: продающие страницы, уникальный контент – все, что уже могло принести продажи и трафик, пылится на полках гуглбота, ожидая очереди, которая непонятно когда и как дойдет до них и дойдет ли вообще.

Не всегда все так очевидно на первый взгляд – вот возможные причины, по которым индексация вашего контента на данный момент не выполняется. Или выполняется достаточно долго.


1. Обновления ядра основного алгоритма

Крупные апдейты Google всегда на слуху, потому что выдачу основательно трясет пару-тройку дней. Кто-то проседает, кто-то поднимается. Мы уже писали про июньский core update, который стал первой частью обновлений по внедрению факторов Page Experience (в т. ч. Core Web Vitals).

Индексация проблемы

Рис. 1 – Представление Page Experience в Search Console

Процесс развертывания должен занять все лето, а как раз во время выкатывания обнов чаще всего и происходят баги в выдаче.

Проблемы индексации обновления

Рис. 2 – Розовые и желтая вертикальные линии показывают подтвержденные обновления алгоритма (RankRanger)

Глобальный апдейт – одна из возможных причин. Тем более, что в июне также запустили 2 части обновления по защите от спама. Они призваны защитить пользователей от мошеннических действий в сети и очистить выдачу от сайтов, на которых выманивают деньги и личные данные.

Обновления ядра направлены на улучшение поисковой выдачи, поисковик намеренно сайты не пессимизирует. Но алгоритмы постоянно меняются, и это влияет на многие ресурсы одновременно.


2. Качество контента

Один из самых значимых факторов ранжирования – способность информации удовлетворить запрос пользователя. Если это так, Google готов пододвинуть остальные факторы, потому что главная задача поисковика будет выполнена.

Проблема индексации контент

Рис. 3 – Ответ эксперта по продуктам Google на вопрос об индексации

Проблема индексации реклама

Рис. 4 – Ответ на вопрос об отсутствии страниц в индексе даже после их ручного внесения в индекс

Со стороны поиска к контенту на странице предъявляются требования, выполняя которые пользователи обязательно смогут найти вас в поиске. Итак, текст на странице должен быть:

  • структурированным;
  • релевантным;
  • уникальным;
  • экспертным;
  • отвечать на поставленный вопрос.

Никаких дубликатов и повторений быть не должно, поэтому следите за уникальностью и не копируйте бездумно. Не поможет.


3. Запрет индексации с помощью директивы noindex

Метатег noindex размещается в коде страницы и запрещает индексировать контент, а в случае с уже проиндексированной страницей исключает ее из индекса.

В любом случае при внесении изменений в метатег или директивы, роботу нужно время, чтобы обработать их и обновить информацию в индексе согласно актуальному состоянию.

Индексация релевантный контент

Рис. 4 – Ответ о запрете индексации

Возможно, проблема в коде страницы, тогда придется вручную смотреть — анализировать страницы с помощью Google Search Console и искать проблему.


4. Распространенные ошибки

На деле таких проблем может быть много. Где-то недосмотрел, не дописал, не заполнил, и все – в поиске страницы уже не найти.

Чаще всего можно встретить такие ошибки:

  • Отсутствие заполненных метатегов, заголовков. Метатеги формируют снипет, а заголовки помогают структурировать текст. Если эта информация на странице отсутствует на сайте, то почему в индексе должна быть?
  • Некорректное использование редиректов. Они направляют пользователя с одной страницы на другую, но только когда старая и новая страницы соответствуют. Если редиректите с левых страниц, можете не попасть в поиск вообще. А также необходимо проверять, какой редирект настроен: постоянный или временный.

Проблема индексации редиректы

Рис. 5 – Ответ на форуме Google

  • Нерелевантный контент, то есть тот, который не несет полезности читателю. Текст может быть уникальным и структурированным, но если это бред, то поисковик с вероятностью в 95% не пропустит его в SERP.
  • Неверно заполненный sitemap, проблемы с урлами, неправильно настроенный canonical, отсутствие ссылающихся страниц и т.д..

5. Проблемы с индексацией

Под большинством вопросов на форуме ответы стандартные: проверьте то, то. Но есть и те, где владельцы сайтов и вебмастера упорно доказывают, что с сайтом и страницами все ок, что раньше такого не было…

Проблема индексации контента

Рис. 6 – Вот такой последний ответ для многих вопросов

На такие вопросы отвечают эксперты, дают рекомендации, а потом банят ветку, либо оставляют без ответа. Если читать форум сверху вниз, такая картина прослеживается периодически, нельзя сказать часто. Это наводит на мысль, что проблема (боль) не решается, а просто купируется. И разобраться можно либо самостоятельно по отчетам из Google Search Console, или ждать, пока бот начнет работать активнее.


6. Официальный ответ Google

Upd. Официальная информация от Google о проблемах с индексацией от 17.08.2021.

В США запустили инструмент, который указывает на проблемы с индексацией. Теперь владельцы сайтов могут сообщить об ошибках в индексации страниц. 

Инструмент пока что доступен только владельцам сайтов США, которые подтвердили право собственности на сайт в Search Console. Находится он в нижней части Справочного центра — под документами, посвященными отчету об индексировании и инструменту проверки URL.
Чтобы сообщить о проблемах с индексацией напрямую в Google, нужно нажать на кнопку Report an Indexing Issue и заполнить форму, которая открывается после этого.

Индексация форма об ошибке

Google сообщает, что может запросить у владельца сайта дополнительную информацию о проблеме, если обнаружится ошибка индексации.

Upd. Об ошибке 500 за 18.08.2021.

Как уведомления об ошибке 500 в Search Console в ответ на сканирование Googlebot влияют на видимость сайта в поиске?

Сотрудник Google Джон Мюллер ответил, что если Googlebot сталкивается с кодом ответа сервера 500, то старается попасть на страницы снова и снова. Если ошибка все еще повторяется, то Google замедляет сканирование. Если же спустя время ошибка 500 не исчезает, поисковик удаляет URL-адреса с ошибками из индекса.

Кроме того, стало известно – Googlebot сам вызывает перегрузку сервера. Из-за этого он и замедляет сканирование. Тем не менее у поисковика нет жестких значений, при которых Google решает, что сделано много запросов, получено много ошибок, следовательно, пора замедлять сканирование.


Вывод

После изучения сообщений из форума выяснилось, что проблемы с индексацией новых страниц и переиндексацией существующих начались где-то с апреля. Причины часто относятся к уникальности контента и степени оптимизации проекта. Но субъективно кажется, что гуглбот просто глючит или же навалило столько обнов, что он не справляется – поэтому большинство страниц зависло на стадии Просканирована, но не проиндексирована.

Если говорить о сайтах, где есть ошибки – там нужно проводить техаудит, изучать контент и исправлять все недочеты. Изучите нашу статью с советами по улучшению индексации, которая поможет быстрее разобраться с проблемами индексации.

А тем, у кого при проверке не выдает ошибок, нужно просто ждать. В Google уже точно заметили жалобы от вебмастеров. А значит и поправить должны. Только пока непонятно, когда.


Как стать сеошником?

Дайджест обновлений алгоритмов Google (лето 2021)

Как оформить футер сайта?

Подпишитесь на наши обновления
Больше полезных статей и мануалов еще впереди. Будьте в курсе!

Вы уже подписаны на нашу рассылку!

Подтвердите свой Email для завершения подписки.

Заказать
продвижение
Больше полезных статей и мануалов еще впереди. Будьте в курсе!

Спасибо! Скоро с Вами свяжется наш менеджер.