☄️Обновления Google и Яндекс: история и тенденции

Появление интернета значительно упростило повседневную жизнь. На него прочно подсела большая часть населения планеты.

Мы едим, развлекаемся, работаем и ищем нужную информацию во всемирной паутине. Сложно представить, какая сейчас могла бы быть жизнь без интернета. Да и качество поиска информации вначале было невыносимым.

В 1997, когда возник Яндекс, и 1998 году в случае c Google, найти нужный ответ было сложно, порой невозможно.

Через 20 с лишним лет качество выдачи без сомнения поднялось на сотни уровней вверх. Но нельзя говорить о том, что вопрос наконец-то решился. Давайте углубимся в то, как росли и развиваются сейчас нынешние лидеры поиска.

1. Google

В 1998 был запущен первый алгоритм PageRank, который в студенчестве разработали Ларри Пейдж и Сергей Брин.
Суть алгоритма — чем больше страниц ссылается на источник, тем более авторитетным он считается. Т. е. вес ссылок играет важную роль.

Давайте детально рассмотрим хронологию обновлений:

декабрь 2000 — возник Hilltop, который стал учитывать геолокацию запроса, динамический рейтинг и возраст документа. Теперь все запросы разделились на информационные и коммерческие;
февраль 2003 года — первый официальный алгоритм Boston, который изменил частоту обновлений поисковой базы на ежемесячную;
апрель 2003 года — Cassandra помогла отсеять ссылки с дорвеев, скрытые ссылки и тексты;
май 2003 — Dominic начал по-другому учитывать обратные ссылки. Появились Deepcrawler (пытается найти как можно больше страниц) и Freshbot (занимается поиском нового контента);
июль 2003 — с выходом алгоритма Fritz индекс стал обновляться ежедневно;
ноябрь 2003 — Florida понижает позиции доменов с некачественными ссылочным профилем, перенасыщенными ключевыми словами текстами, неуникальной информацией;
февраль 2004 — Brandy научил поиск понимать LSI-слова, повысил роль анкорного текста, ссылочного окружения;
январь 2005 — алгоритм Nofollow начинает бороться со спамными ссылками в то же время появляется одноименный атрибут, который запрещает передачу ссылочного веса (на данный момент атрибут стал рекомендательного характера);
июнь 2005 — впервые Гугл использовал историю поиска, чтобы персонализировать результаты выдачи и ввел понятие карты сайта (файл sitemap в формате xml содержит описание структуры ресурса) для ускорения индексирования;
октябрь 2005 — Jagger был создан для фильтрации сервисов покупки и обмена ссылок (бэклинков со ссылочных ферм — линкопомоек);
декабрь 2005 — Big Daddy ввел такие понятия, как канонический URL (приоритетная страница), редиректы (перенаправление с одних страниц на другие) и т. д.;
май 2007 — на смену стандартному поиску с текстовыми ссылками приходит универсальный поиск (добавились картинки, новости, карты);
август 2008 — с выходом Suggest поисковик стал предлагать подсказки, когда начинают вбивать запрос в поисковую строку;
февраль 2009 — Rel-canonical позволил сеошникам настраивать канонические страницы;
август 2009 — Caffeine изменил принцип индексации сайтов (намного чаще стал индексировать сайты) и стал уделять внимание информации, скорости загрузки, внутренней оптимизации. Теперь порталы, которыми удобно пользоваться, содержат перелинковку и часто обновляются, быстрее поднимаются вверх;
декабрь 2009 — формирование результатов в реальном времени, возрастает скорость индексации страниц;
май 2010 — May Day начал учитывать НЧ запросы с длинным хвостом (уточняющие слова);
август 2010 — теперь страница одного домена может несколько раз появляться на одной поисковой странице;
сентябрь, декабрь 2010 — негативные отзывы начинают играть роль при ранжировании;
сентябрь 2012 — название домена перестает влиять на позицию в поиске.

1.1 Список самых известных апдейтов Google

Февраль 2011 — Panda был разработан в ответ на жалобы пользователей о низкопробных результатах выдачи. В итоге этот алгоритм стал ежемесячно понижать домены с переспамленным и неуникальным контентом. Последний раз модернизировался в 2015.
Январь 2012 — Top Heavy ведет борьбу с порталами, перенасыщенными рекламой в верхней части страницы. Реклама при этом не должна закрывать основную информацию.
Апрель 2012 — алгоритм Penguin начал отфильтровывать количество и качество внешних ссылок, ухудшались позиции у сайтов с текстами, забитыми ключами. Появился инструмент Disavow Links (позволяет отклонять обратные ссылки в search console).
Август 2013 — Hummingbird начал кластеризовать ключи (группировать их по темам), что увеличило релевантность результатов в поисковой выдаче.
2013-2014 — алгоритм PayDay Loan нацелен на борьбу с большим количеством спама по высококонкурентными запросами, переоптимизированными сайтами, заточенными под ВЧ ключи.
Июль-декабрь 2014 — Pigeon корректирует работу локального поиска.
Апрель 2015 — Mobile Friendly приоритизирует домены, которые адаптированы под мобильные телефоны.
Октябрь 2015 — алгоритм на основе машинного обучения RankBrain лучше распознает специфические поисковые запросы, отождествляя их с подобными запросами ранее и смотря на поведение пользователя. Вверх поднимаются порталы, на которых проводят больше времени.
Сентябрь 2016 года — Possum помогает найти наиболее соответствующую информацию в зависимости от геолокации в момент поиска. Адреса компаний перестали дублироваться (1 адрес — 1 строка).

Обновления Гугл

Рис. 1 — Выдача в зависимости от геолокации

Март 2017 — алгоритм Fred отсеивает ресурсы, которые созданы чисто для продвижения других ресурсов (то есть, заполненные рекламными баннерами и исходящими ссылками).

2. Яндекс

Яндекс развивается и конкурирует с Google на просторах русскоговорящих жителей. Первое обновление поискового алгоритма становится явным лишь в 2007 и выходит 1-3 раза в год. До этого апгрейды держались в секрете.
Основные улучшения касались регионального поиска, внедрения ТИЦ, индексации изображений и т. д..

Разработчики решили давать некоторым алгоритмам названия городов. Хронология апов следующая:

июль 2007 — Версия 7 вышла с увеличенным числом факторов ранжирования, соответствие выдачи стало лучше по ряду запросов;
декабрь 2007 — январь 2008 — Версия 8 и Восьмерка SP1 помогли авторитетным ресурсам выбиться вверх, и началась борьба с накруткой ссылочных факторов (фильтр “Прогонов”);
май 2008 — Магадан добавил удвоенное число факторов ранжирования и отслеживания уникальности. Появилась классификация коммерческих запросов и улучшился геозависимый поиск. В выдаче начали появляться сайты на иностранных языках. Вторая версия алгоритма вышла в июле 2008 года;
сентябрь 2008 — Находка помогла поиску обрабатывать стоп-слова и научила считать слитные (1 слово) и раздельные запросы (2 слова) как один и тот же;
апрель 2009 — Арзамас значительно улучшил региональный поиск и начал учитывать геолокацию пользователя при формировании результатов. Другое название алгоритма — Анадырь;
ноябрь 2009 — Снежинск стал первым алгоритмом на основе машинного обучения. Качество выдачи сильно улучшилось, а количество факторов ранжирования многократно возросло. Начал работать фильтр АГС (заносит веб-сайты в черный список) и упали сервисы с переоптимизированным контентом;
декабрь 2009 — алгоритм Конаково помог расширить региональный поиск, улучшилась формула геонезависимого поиска. Увеличились позиции для информационных ресурсов;
сентябрь 2010 — при выпуске Обнинска ПС начала лучше обрабатывать интенты на английском и уменьшила влияние искусственных ссылок на результат ранжирования. Алгоритм поиска геонезависимых запросов заново скорректировали;
декабрь 2010 — Краснодар привнес новую технологию обработки запросов “Спектр”, которая выводила результат на основе истории других запросов. Улучшения вновь коснулись регионального поиска, появился расширенный вариант сниппетов, запросы начали разделяться на категории;
август 2011 — Рейкьявик стал началом персонализированного поиска, система начала изучать языковые предпочтения и учитывать их. Появилось авторство текстов и колдунщики;
декабрь 2012 — Калининград принес поисковые подсказки, произошла полная персонализация поиска на основе предпочтений пользователей. Продвижение сайтов затруднилось, потому что в учет теперь принимаются многие факторы (качество содержимого, ссылочный профиль и др.);

Обновления Яндекс

Рис. 2 — Поисковые подсказки по запросу

май 2013 — апдейт Дублин персонализирует поиск в режиме реального времени;
март 2014 — ссылки перестают играть роль в ранжировании для ряда запросов по Москве;
апрель 2015 — Объектный ответ изменил дизайн главной страницы Яндекса. Справа от органики появилась карточка с ответом на интересующий запрос;
май 2015 — Минусинск пессимизирует сайты с внешними ссылками плохого качества. Важными факторами стали работы над внутренней оптимизацией ресурсов и их контенту;
сентябрь 2015 — ап “Многорукие бандиты Яндекса” был направлен на выявление дополнительных поведенческих паттернов. Тогда в ТОП смогли попасть и сайты-новички;
февраль 2016 года — Владивосток поднимал порталы с наличием мобильной версии. Теперь это один из важных факторов ранжирования;
ноябрь 2016 — Палех изменил поисковую логику и научился понимать запросы по смыслу и выводить релевантные результаты. Наличие ключей в тексте становится менее важным, чем интерес пользователя к информации;
март 2017 — Баден-Баден борется с текстами, переполненными ключами, скрытым текстом или переоптимизированным контентом мелким шрифтом;
август 2017 — Королев использует искусственный интеллект, чтобы понимать запросы на естественном языке и находить ответы без наличия ключевых слов в содержимом ресурса. Теперь сопоставление идет не только с заголовком, но и со всем наполнением домена;
ноябрь 2018 — С анонсом Андромеды появились значки рейтинга, новая схема поиска в режиме реального времени, увеличилось количество тематик быстрых ответов, появились Коллекции (можно хранить все понравившееся в сети в одном месте).

3. Обновления поисковиков, которые были в 2019 — 2020 году

Новые алгоритмы индексации влияют на порталы, которые изобилуют “черным” SEO. Создаются они с целью очищения поисковой выдачи для удобства пользователей.

Еще несколько лет назад на первых позициях выскакивали фейковые сервисы, не несущие смысловой нагрузки. Сегодня эта проблема осталась в прошлом, пропали даже порталы с большим количеством рекламы на главной странице, редиректами и прочим мусором.
На первой странице вверху поиска находятся сервисы, способные дать ответ на любой вопрос. Неспроста говорят: “Гугл знает все”.

Наряду с процессом очистки, поисковик Гугла постоянно меняет рейтинг “хороших” сайтов. Этот процесс называется апдейт ядра основного алгоритма ранжирования. О нем читайте далее.

3.1 Ядро основного алгоритма

Раз в несколько месяцев компания Google выпускает глобальные обновления ядра ранжирования, которые затрагивают позиции сайтов по всему миру. В отличие от минорных нововведений, которые незначительно влияют на рейтинг сайтов в поиске, глобальные апдейты способны сместить любой ресурс из ТОПа. За все время накопилось более 200 факторов ранжирования.

В блоге вебмастеров есть статья (август 2019) под названием What webmasters should know about Google’s core updates, которая содержит рекомендации для SEO-специалистов и владельцев порталов.

Согласно ей, если сайт теряет лидирующие позиции, в первую очередь стоит проверить контент по таким критериям:

содержание и качество (больше текста по теме, меньше воды, добавляйте исследования, сделайте так, чтобы читатель поделился статьей);
экспертность (пользователи могут доверять или желают доверять изложенному, представленные факты должны быть правильными);
оформление и подготовка (отсутствие орфографических ошибок, соблюдение стилистики, корректное отображение на мобильных устройствах);
сравнение с конкурентами (какую дополнительную ценность несет информация, создана ли она, чтобы удовлетворить интерес пользователя, а не просто продвинуться в ТОП).

Core Update (EAT) — Март 2019

Официальное название этой реновации — March 2019 Core Update. Основная часть ресурсов, на которые повлиял этот апдейт — это сайты по запросам YMYL (Your money or Your life).
Эта аббревиатура относится к информации, которая может повлиять на физическую, финансовую, духовную и моральную сторону жизни человека. Такими считаются сайты здравоохранения, финансовые и многие другие организации.

Апдейт вступил в силу 12 марта 2019 года и за несколько недель был внедрен по всему миру.

Обновления Яндекс

Рис. 3 — Ссылки по запросу — сайты клиник

В основном изменения коснулись порталов, которые посвящены здоровью и тех, что ранжируются за счет контента. Сайты, которые пострадали из-за обновления Medic (август 2019), вернули свои позиции. Понижение позиций коснулось доменов с плохими ссылочным профилем.

В этом апгрейде ставится упор на критерии оценки качества E-A-T (Expertise, Authoritativeness, Trustworthiness). Контент должен отвечать требованиям:

экспертности (сведения от специалиста в своей области);
авторитетности (положительные отзывы, ссылки с других источников);
достоверности (точность информации, контакты компании, цитирование других авторитетных ресурсов).

В 2013 году был выпущен гайд для асессоров Google, вот и текстовое наполнение сайта нужно прорабатывать по нему.

Core Update — Сентябрь 2019

Официальное название — September 2019 Core Update. Этот ап занял несколько дней, начиная с 24 сентября, и затронул все глобальные индексы.
Предположительно, этот апгрейд повлиял на домены в сфере туризма, финансов, медицины, СМИ, электронной коммерции. Были замечены изменения в SERP.

Похоже, что увеличилась значимость видеоконтента для информационных запросов. Многие сайты с первой позиции опустились до четвертой, потому что теперь над ними располагается блок с релевантными видео.

Google updateу

Рис. 4 — Результат поиска. Видео — вверху

Теперь большинство пользователей просто не будут спускаться к органической выдаче.

BERT — поисковая технология с открытым исходным кодом — Октябрь 2019

25 октября 2019 года был запущен BERT. Это поисковая технология, основанная на искусственном интеллекте. Она помогает понимать естественный язык пользователя. Открытый исходный код позволяет использовать эту технологию в любых NLP задачах. Особенно эффективность заметна в поиске ответа на голосовые запросы и длинные низкочастотные ключи. Это крупнейший апдейт в процессе поиска с 2015 (алгоритм RankBrain).

В основе BERT лежат нейронные сети. С их помощью языковые модели обучаются на контексте предложения или текста. Так достигается распознавание слов на любом расстоянии от ключевого слова (двусторонняя направленность).

Google голосовой поиск

Рис. 5 — Голосовой поиск с длинным запросом

После этого запроса мне сначала озвучила ответ Siri, и после я увидела блок выдачи:

Гугл апдейт

Рис. 6 — Выдача по длинному запросу

Его предшественники могли различать слова только до и после основного ключа.

Вега — Декабрь 2019

У Яндекса пока что есть только один ап за 17 декабря 2019 года. Происходит обновление качества поисковой выдачи. Теперь ответ ищется не только по словам и значениям, но и сходным по смыслу страницам. Для выделения смысла используется кластеризация информации.
Результат формируется в то время, как вводится запрос, используя пререндеринг (страница с основным контентом отрисовывается до того, как ее увидит пользователь). Локализация выдачи проработана до уровня микрорайона. Улучшение выдачи информации по тематикам происходит благодаря внесению критерия экспертности в процесс оценки асессоров.

Core Update — Январь 2020

Официальное название апдейта — January 2020 Core Update. 14 января 2020 года Google развернул очередной апгрейд ядра основного алгоритма. Оно, как и предыдущее, влияет на все результаты поиска в глобальном масштабе и направлено на улучшение критериев E-A-T и переоценке существующих сайтов.

Core Update — Май 2020

Почти через 4 месяца Google запустила очередной всемирный апдейт под названием — May 2020 Core Update. Каждое обновление влечет за собой скачки в видимости многих ресурсов.
По различным наблюдениям, в ТОП поднимались те домены, у которых средний сеанс посещения без выхода обратно в поиск занимает 5+ минут. В запросах по сервисам микрозаймов основную часть выдачи заняли агрегаторы.

Мобильная версия стала больше влиять на рейтинг, ведь Google настаивает на том, чтобы сайт предоставлял одинаковую информацию для мобильных и ПК. Спонсорские ссылки теперь рекомендуется подписывать атрибутом sponsored (ранее использовался атрибут nofollow), но менять атрибут в существующих ссылках не нужно.

Цель обнов одна и та же — показывать самые релевантные результаты, чтобы удовлетворить интент пользователя. Качество информации на первом месте.
Во время пандемии поведение пользователей изменилось, и они стали больше времени уделять здоровью, больше интересоваться новостями. Само собой, подобные ресурсы поднялись вверх поисковой выдачи. А те же туристические порталы просели по трафику, потому что границы для выезда закрыты.

Про декабрьское читайте в статье “Обновление ядра основного алгоритма Google (декабрь 2020)”.

Яндекс YATI — ноябрь 2020

Свежее обновление от Яндекс, которое компания представила на конференции YaC 25 ноября.
Этот алгоритм-трансформер переводит каждый элемент текста в вектор с сохранением его места в тексте. Для обучения дается выборка большого объема информации от пользователей Яндекс.Толоки. Далее на обучение дают экспертную информацию от асессоров. YATI еще может предсказывать клик пользователя (на базе в 1 млрд. переформулированных запросов).
Яндекс заявил, что это наиболее значимое обновление ядра за последнюю декаду.

4. Неподтвержденные обновления

За год разработчики Google могут внести тысячи корректировок в существующие алгоритмы ранжирования. Недавно формат сообщений изменился и все глобальные апдейты теперь анонсируются в Твиттере.

На внедрение апдейта требуется в среднем 7-14 дней. Но итог можно увидеть только через несколько недель.
Изменения в позициях сайтов можно отследить с помощью специальных программ, типа SemRush, Ahrefs и других. Ресурсы могут проседать и подниматься в поиске, но компания не всегда анонсирует изменения. Вебмастера полагают, что сильные флуктуации происходят также и из-за неподтвержденных обновлений. Они отсеивают некачественный контент, оценивают поведенческие факторы и переоценивают порталы, чтобы вновь сформировать наиболее подходящие результаты для человека.

5. Что теоретически может измениться с выходом очередного обновления основных алгоритмов

Критерии достоверности, авторитетности и экспертности постоянно дополняются для обеспечения максимальной релевантности информации по запросу пользователя. Поисковики продолжают бороться с “черными” методами продвижения и просят сфокусироваться на качестве. Сайтам, которые беспрестанно работают над внутренними улучшениями и имеют чистый авторитетный ссылочный профиль, бояться нечего. Для них изменения будут незначительны. Но есть ниши, в которых актуальность контента редко меняется, и тогда просадки будут.
Стоит анализировать и дорабатывать как ссылочную массу, так и другие аспекты продвижения. Это: скорость загрузки, юзабилити, контент на страницах, авторитетность статей в блоге и т.д..

За все время существования Google и Яндекс, их команды разработчиков занимались созданием среды повышения релевантности поиска для пользователей.

Требования к сайтам постоянно увеличиваются, важными факторами при ранжировании остаются:

юзабилити и адаптивность;
оптимизированная структура;
полезный контент;
авторитетные внешние ссылки;
скорость загрузки.

Касательно старых фильтров и санкций, теперь они — часть целого поискового алгоритма, и уже не имеют того формата, в каком существовали еще несколько лет назад.

Ценность ресурсов для поисковиков очень сильно зависит от того что, нравятся ли они обычным пользователям.Если смотреть вдаль и предполагать, что готовят нам алгоритмы будущего, станет однозначно ясно, что вопрос всегда остается открытым.