заказать звонок
+38 057 755-48-00
Starting a new project?
получить консультацию
Читайте наш Telegram 👈
SEO - поисковое продвижение
893
8

При внутренней оптимизации сайта важно настроить правильные ответы сервера.

Поисковики регулярно взаимодействуют с сайтом: обходят страницы, вносят изменения в индекс, ранжируют. Цель вашего онлайн-бизнеса - предоставить верную информацию о работе всего ресурса, чтоб получить больше очков при ранжировании.

Для этого надо проверить, какие коды ответов отдает сервер и верно ли настроены редиректы. Т. к. первоначально поисковые роботы обращаются к серверу, и уже после - к страницам сайта. Когда ответы сервера настроены правильно, поисковикам не нужно при обходе повторно проверять весь сайт - они индексируют лишь измененные или новые. Так роботы экономят ресурсы.

Пример:

Редиректы

Рис. 1 - Пример ответа сервера (ответ содержит код статуса HTTP и заголовок Expires)
Разберемся, какие коды ответов бывают и как сделать редирект.

1. Коды статуса

Если вы переводите сайт на протокол https или на версию сайта без www, либо переезжаете на новый домен, то редиректы — первое, что вам нужно настроить.

Рассмотрим самые важные и востребованные классы состояния страниц и обозначим нюансы работы.


1.1 Редиректы 3**

  • 300 Multiple Choice.

Запрос имеет несколько возможных ответов и пользователь должен выбрать один из них.
Т. к. стандартных кодов ответа нет, этот редирект используется редко.

  • 301 Moved Permanently.

Показывает, что сайт навсегда изменил адрес и дальнейшие обращения к ресурсу должны перенаправляться на новый URL. Вес страниц со старого сайта переносится на новый.

Блог_редиректы 02

Рис. 2 — Пример 301 ответа сервера
  • 302 Moved Temporarily, Found.

Код для временных перенаправлений. Поисковые системы не обновляют свои ссылки на ресурс, но браузер перенаправляет пользователей на новую страницу.

Недостатки 302 редиректа:

  1. 302й редирект не передает вес страницы;
  2. если 302й код используется дольше 7 дней подряд, сайт может попасть под фильтр поисковиков (302й ответ боты иногда расценивают как составляющую “черного SEO”).

Как следствие — при перелинковке сайт теряет вес не только внутренних страниц, но и внешней ссылочной массы.

  • 303 See Other.

Сходен с 302 кодом, но 303 не указывает на перемещение запрошенного URL.
303 редирект показывает, что для запрошенной страницы нет подходящего адреса, но есть несколько URL, условно удовлетворяющих запрос.

  • 304 Not Modified.

Показывает, что повторно передавать запрошенный адрес не нужно, если с момента последней передачи страница не была изменена. Браузер перенаправит пользователя на сохраненную копию страницы.
А если изменения были, то отдается ответ “200 ОК”.

  • 305 Use Proxy.

Переадресация через прокси-сервер.
Код 305 используют для анонимности, либо для ускорения загрузки страницы (тогда кэшируют содержимое).
Но не все браузеры верно обрабатывают этот код ответа (касается Explorer и Mozilla). Поэтому он используется не часто.

  • 306 Switch Proxy.

Раньше применялся для обозначения использования определенного прокси.
Сейчас код не используется, но остается для резерва.

  • 307 Temporary Redirect.

Используется для уточнения 302 редиректа.
Ответ 307 показывает, что сайт доступен по другому URL, но вскорости вернется на прежний адрес.
Как и 302, 307 редирект используется для временных перенаправлений. Их различие в том, что при перенаправлении 307 код ответа гарантирует, что метод и тело останутся неизменными.

  • 308 Permanent Redirect.

Аналог 301 кода, передает вес странице. Но с ограничением — не позволяет изменить метод запроса с Post на Get.
308 редирект использует Google Drive — показывает клиенту, что загрузка данных прервалась.
Считается, что 301й код ответа передает бОльшую часть ссылочного веса. Поэтому 301 редирект (постоянное перенаправление на новый адрес) применяют чаще.

Как проверить верность переноса 301 редиректа?

  • вручную (сервисы Header checker tool, bertal.ru);
  • автоматически (Screaming frog seo spider, Netpeak Spider, Serpstat).

Проверка редиректов может затянуться до 3х недель, будьте готовы к этому — поисковики должны обойти перенаправленные страницы и присвоить вес новым.

Что нужно учесть при проставлении:

  • если на сайте есть 302 редиректы, а основной URL поставить нельзя, то 302 ответ заменяем на 301.

Итоги краулинга сайта покажут бОльшую часть ошибок, связанных с редиректами.


1.2 Внутренние ссылки и редиректы

  • все внутренние редиректы устраняем (по возможности) и заменяем на целевые URLы с 200 кодом ответа сервера;
  • выбираем основное зеркало (с www или без), и с второстепенного сайта на главный делаем постраничный 301 редирект;
  • следим за отсутствием циклических редиректов (когда перенаправление происходит по замкнутому циклу);
  • избегаем цепочек перенаправлений;
  • все URLы должны заканчиваться либо слешем, либо его отсутствием.

Не должно быть такого, что часть URL со слешем, а часть без него. Следим за единообразием.
Также обязательно должен быть 301й редирект с URLа со слешом на URL без слеша (или наоборот — в зависимости от выбранного варианта).

  • настраиваем 301 редирект, если есть множественные слеши внутри URL.

Пример: https://site.com/razdel////tovar должен перенаправляться на нормальный URL https://site.com/razdel/tovar

  • URLы с ошибочным набором символов редиректятся на нормальный URL;

Пример: https://site.com/razdel12 на https://site.com/razdel

  • URLы с заглавными буквами перенаправляются на нормальный URL.

Пример: https://site.com/razdel/ToVar на https://site.com/razdel/tovar

Блог_редиректы 03

Рис. 3 — Пример перенаправления URL с заглавными буквами

В случае, если не удается корректно определить, куда перенаправить пользователя, рекомендуем настроить отработку такого правила:

Главная/блок1/блокn/

Если в блоке n ошибка, и вы не нашли ее совпадения с любым из предыдущих пунктов, делайте перенаправление при помощи 301го кода на страницу вложенности n-1 вплоть до Главной.


1.3 Нюансы перенаправления

  • при переносе сайта на https-версию отслеживаем правильный перенос комментариев: чтобы комменты из приложения disqus либо корректно перенеслись, либо отсутствовали в коде;
  • следим за отсутствием редиректа на редирект;
  • редиректы настраиваем только на страницы со статусом 200 ОК;
  • проверяем файл .htaccess на верность составления и консультируемся с админом;
  • все элементы сайта точно переносим на https-протокол (специалисты часто забывают перевести URLы избражений).

Рекомендация:

  • при редиректе с http на https, всю внутреннюю перелинковку лучше делать относительными ссылками.

1.4 Коды 404 и 410 (адреса удаленных страниц)

Какими сервисами искать “битые” ссылки?

  1. вручную (если сайт небольшой, можно весь его пролистать и прокликать все ссылки на сайте, либо задать поисковику команду с оператором “site: вашсайт.com”);
  2. автоматически:
  • Google Search Console (вкладка “Сканирование — Ошибки сканирования”);
  • Google Tag Manager (через создание отдельной переменной);
  • Яндекс.Вебмастер (раздел “Внутренние ссылки — Неработающие внутренние ссылки на сайте”);
  • Online broken link checker (бесплатная проверка до 3000 страниц — только HTML-документы);
  • Xenu’s link sleuth;
  • Screaming frog (бесплатная проверка до 500 страниц);
  • Broken link checker (плагин для WordPress);
  • Check my links (расширение для Google Chrome).

Неработающие ссылки нашли, что дальше?

Блог_редиректы 04

Рис. 4 — Пример 404 ответа сервера

1. создаем специальную постоянную страницу 404, например https://site.com/404;
2. проверяем, точно ли она отдает 404й код ответа (часто по ошибке настраивают 200й ответ);
3. на неё направляем все 404 страницы, например — https://site.com/folfdsfods
4. страница https://site.com/404 содержит:

  • предупреждение, что такой страницы не существует;
  • предложение перейти в другие разделы сайта, либо воспользоваться поиском.

Т. е., должны быть ссылки на популярные разделы или основное меню.

5. с помощью краулеров выявляем и устраняем причины возникновения 404х т. н. “битых” ссылок;
6. для того, чтоб данные об отсутствующих или страницах с ошибками отражались в отчетах Google Analytics:

  • на страницу с кодом 404 добавляем код отслеживания Google Analytics;
  • + строку перед кодом GTM:

 <script type=»text/javascript»>
 id404 = «true»;
 </script>

Теперь собранные данные можно просмотреть в разделе Content (Top pages, Top landing pages, Top exit pages) отчета Google Analytics.
Информация по «плохим» 404 страницам покажет объем битых ссылок. Так мы сможем смело удалить или изменить их. Причем удалить их придется и из индекса. Делаем это через панели Google и Яндекс. Чтоб удалить битую страницу, оформляем ей ошибку 404. При следующем обходе робот выполнит запросы на удаление и они пропадут из Поиска.

  • Soft 404 ошибка

404 Soft появляется, когда сервер должен ответить 404 (страница не существует), но отвечает 200 ОК.

Это может быть карточка товара с продукцией, которая уже не выпускается, т. е. товара точно не будет в наличии.
Если в этом случае мы пропишем редирект на категорию товара, чтоб передать вес, то Google из-за несхожести параметров страниц воспримет это как Soft 404 ошибку (Google определяет их как “мягкие страницы ошибок”).
Такая же проблема может возникнуть при пакетном перенаправлении большого количества страниц на одну.
Все ошибки 404 Soft нужно найти и исправить на 404.

Где можно найти все ошибки обработки ответов серверов? В логах файлов.
Это дополнительный инструмент исправления проблем при внутренней оптимизации сайта.

  • 410 Gone

Аналог 404 ошибки. Код ответа оповещает о том, что страница удалена и более недоступна. При последующей проверке бот не станет ее обходить и вносить изменения в индекс.
Удобство 410 редиректа в уведомлении поисковых роботов о том, что страница удалена корректно и ее точно можно исключить из индекса.


1.5 Access Log и отчет в Search Console

Текстовый файл access.log собирает статистику сайта — все обращения к серверу поисковых роботов.

Что дает этот список URL:

  • поиск низкокачественных страниц, которые не видит парсер, но о которых знает робот.

Кроме того, это может быть “черное SEO” от конкурентов (нагенерированные дубли для ухудшения продвижения).

  • определение разделов сайта, которые недополучают визитов робота, что может привести к плохой индексации, если в таком разделе много страниц;
  • понимание причин отсутствия в индексе группы страниц с низкой посещаемостью краулера.

2. Заголовки ответа сервера

Заголовки — команды обмена между сервером и поисковым роботом.

Заголовки содержат информацию о протоколе, кодировке, языке и др. составляющих работы ресурса.


2.1 Last-Modified

Хранит сведения о дате последнего редактирования страницы.

Механизм действия:

  1. если при обходе получен заголовок Last-Modified, то в следующий раз при обращении к этому URL (и при наличии этой страницы в кэше браузера), робот запросит If-Modified-Since (были ли какие-то изменения на странице после даты в Last-Modified);
  2. далее сервер сверяет полученное время с временем последнего изменения страницы;
  3. если дата не менялась, он отвечает “304 Not Modified”.

Заголовок Last-Modified годится для ускорения индексации сайтов-многостраничников.
Проще говоря, если на сайте изменено 5 страниц из 100, то обходить все 100 сканеру не нужно. Паук сначала проиндексирует страницы с заголовком Last-Modified, и уже после — все остальные, если уложится в то лимитированное время, которое отведено для обхода 1 сайта.


2.2 If-Modified-Since

Показывает, вносились ли на страницу изменения после даты, которая получена в Last-Modified.

Механизм:

  • клиент получает запрос If-Modified-Since;
  • сверяет дату с временем последнего изменения страницы;
  • если они совпадают, сервер отвечает 304 Not Modified и страница подгружается из кэша;
  • если же время последнего изменения отличается, ответ будет 200 ОК.

2.3 Expires

Хранит временную метку, после наступления которой ответ сервера считается устаревшим.
Expire date нужна для кэширования содержимого URLов, чтоб при следующих обращениях к серверу эти URL заново не подгружались.

  • дата создания страницы = реальному времени последнего изменения страницы.

Либо, если контент статический, она равна моменту запроса страницы и дате создания файла.

  • Expire date всех страницравна текущему моменту времени + 3600 секунд для того, чтоб закэшировать статические элементы на 1 час.

Итого, коды статуса сервера дают понять поисковым ботам, как работать со страницей. По ответам и заголовкам робот либо пропускает контент (т. к. с его прошлого обхода страница не изменялась), либо вносит в индекс, либо возвращается к ней позже.


3. Что же по SEO?

Страницы, которые продвигаются, должны давать код ответа 200.
Перемещенные — 301.
И 404 — все страницы с ошибками.
Каждый код должен соответствовать назначенной задаче. Так поисковые роботы работают более эффективно со страницами сайта.

Надеемся, теперь у вас не возникнет проблем с настройкой ответов.
А если осталось какое-либо недопонимание, задавайте вопросы комментариях, наши специалисты охотно на них ответят.


Рейтинг сайта

10 способов повысить рейтинг сайта

Факторы ранжирования для контента

5 сигналов ранжирования Google, о которых должны знать контент-маркетологи

5 способов улучшения User experience и увеличения продаж через мобильные

Подпишитесь на наши обновления
Больше полезных статей и мануалов еще впереди. Будьте в курсе!

Вы уже подписаны на нашу рассылку!

Подтвердите свой Email для завершения подписки.

Заказать
продвижение
Больше полезных статей и мануалов еще впереди. Будьте в курсе!

Спасибо! Скоро с Вами свяжется наш менеджер.