Редиректы и обязательные коды ответов страниц

1. Коды статуса

Если вы переводите сайт на протокол https или на версию сайта без www, либо переезжаете на новый домен, то редиректы – первое, что вам нужно настроить.

Рассмотрим самые важные и востребованные классы состояния страниц и обозначим нюансы работы.

1.1 Редиректы 3**

• 300 Multiple Choice.

Запрос имеет несколько возможных ответов и пользователь должен выбрать один из них.
Т. к. стандартных кодов ответа нет, этот редирект используется редко.

• 301 Moved Permanently.

Показывает, что сайт навсегда изменил адрес и дальнейшие обращения к ресурсу должны перенаправляться на новый URL. Вес страниц со старого сайта переносится на новый.

Рис. 2 – Пример 301 редиректа

• 302 Moved Temporarily, Found.

Код для временных перенаправлений. Поисковые системы не обновляют свои ссылки на ресурс, но браузер перенаправляет пользователей на новую страницу.

Недостатки 302 редиректа:

1. 302й редирект не передает вес страницы;
2. если 302й код используется дольше 7 дней подряд, сайт может попасть под фильтр поисковиков (302й ответ боты иногда расценивают как составляющую “черного SEO”).

Как следствие – при перелинковке сайт теряет вес не только внутренних страниц, но и внешней ссылочной массы.

• 303 See Other.

Сходен с 302 кодом, но 303 не указывает на перемещение запрошенного URL.
303 редирект показывает, что для запрошенной страницы нет подходящего адреса, но есть несколько URL, условно удовлетворяющих запрос.

• 304 Not Modified.

Показывает, что повторно передавать запрошенный адрес не нужно, если с момента последней передачи страница не была изменена. Браузер перенаправит пользователя на сохраненную копию страницы.
А если изменения были, то отдается ответ “200 ОК”.

• 305 Use Proxy.

Переадресация через прокси-сервер.
Код 305 используют для анонимности, либо для ускорения загрузки страницы (тогда кэшируют содержимое).
Но не все браузеры верно обрабатывают этот код ответа (касается Explorer и Mozilla). Поэтому он используется не часто.

• 306 Switch Proxy.

Раньше применялся для обозначения использования определенного прокси.
Сейчас код не используется, но остается для резерва.

• 307 Temporary Redirect.

Используется для уточнения 302 редиректа.
Ответ 307 показывает, что сайт доступен по другому URL, но вскорости вернется на прежний адрес.
Как и 302, 307 редирект используется для временных перенаправлений. Их различие в том, что при перенаправлении 307 код ответа страницы гарантирует, что метод и тело останутся неизменными.

• 308 Permanent Redirect.

Аналог 301 кода, передает вес странице. Но с ограничением – не позволяет изменить метод запроса с Post на Get.

308 редирект использует Google Drive – показывает клиенту, что загрузка данных прервалась.

Считается, что 301й код ответа страницы передает бОльшую часть ссылочного веса. Поэтому 301 редирект (постоянное перенаправление на новый адрес) применяют чаще.

Upd. 12.07.2021 Google официально подтвердил, что 308 редирект обрабатывается как 301. Дословно: «коды статуса 301 и 308 означают, что страница навсегда переместилась в новое место» (источник).

Как проверить верность переноса 301 редиректа?

• вручную (сервисы Header checker tool, bertal.ru);
• автоматически (Screaming frog seo spider, Netpeak Spider, Serpstat).

Проверка редиректов может затянуться до 3х недель, будьте готовы к этому – поисковики должны обойти перенаправленные страницы и присвоить вес новым.

Что нужно учесть при проставлении:

• если на сайте есть 302 редиректы, а основной URL поставить нельзя, то 302 ответ заменяем на 301.

Итоги краулинга сайта покажут бОльшую часть ошибок, связанных с редиректами.

1.2 Внутренние ссылки и редиректы

• все внутренние редиректы устраняем (по возможности) и заменяем на целевые URLы с 200 кодом ответа сервера;
• выбираем основное зеркало (с www или без), и с второстепенного сайта на главный делаем постраничный 301 редирект;
• следим за отсутствием циклических редиректов (когда перенаправление происходит по замкнутому циклу);
• избегаем цепочек перенаправлений;
• все URLы должны заканчиваться либо слешем, либо его отсутствием.

Не должно быть такого, что часть URL со слешем, а часть без него. Следим за единообразием.
Также обязательно должен быть 301й редирект с URLа со слешом на URL без слеша (или наоборот – в зависимости от выбранного варианта).

• настраиваем 301 редирект, если есть множественные слеши внутри URL.

Пример: https://site.com/razdel////tovar должен перенаправляться на нормальный URL https://site.com/razdel/tovar

• URLы с ошибочным набором символов редиректятся на нормальный URL;

Пример: https://site.com/razdel12 на https://site.com/razdel

• URLы с заглавными буквами перенаправляются на нормальный URL.

Пример: https://site.com/razdel/ToVar на https://site.com/razdel/tovar

Рис. 3 – Пример перенаправления URL с заглавными буквами

В случае, если не удается корректно определить, куда перенаправить пользователя, рекомендуем настроить отработку такого правила:

Главная/блок1/блокn/

Если в блоке n ошибка, и вы не нашли ее совпадения с любым из предыдущих пунктов, делайте перенаправление при помощи 301го кода на страницу вложенности n-1 вплоть до Главной.

1.3 Нюансы перенаправления

Что следует учесть:

• при переносе сайта на https-версию отслеживаем правильный перенос комментариев: чтобы комменты из приложения disqus либо корректно перенеслись, либо отсутствовали в коде;
• следим за отсутствием редиректа на редирект;
• редиректы настраиваем только на страницы со статусом 200 ОК;
• проверяем файл .htaccess на верность составления и консультируемся с админом;
• все элементы сайта точно переносим на https-протокол (специалисты часто забывают перевести URLы избражений).

Рекомендация:

• при редиректе с http на https, всю внутреннюю перелинковку лучше делать относительными ссылками.

1.4 Коды 404 и 410 (адреса удаленных страниц)

Какими сервисами искать “битые” ссылки?

1. вручную (если сайт небольшой, можно весь его пролистать и прокликать все ссылки на сайте, либо задать поисковику команду с оператором “site: вашсайт.com”);
2. автоматически:

• Google Search Console (вкладка “Сканирование – Ошибки сканирования”);
• Google Tag Manager (через создание отдельной переменной);
• Online broken link checker (бесплатная проверка до 3000 страниц – только HTML-документы);
• Xenu’s link sleuth;
• Screaming frog (бесплатная проверка до 500 страниц);
• Broken link checker (плагин для WordPress);
• Check my links (расширение для Google Chrome).

Неработающие ссылки нашли, что дальше?

Рис. 4 – Пример 404 ответа сервера

1. создаем специальную постоянную страницу 404, например https://site.com/404;
2. проверяем, точно ли она отдает 404й код ответа (часто по ошибке настраивают 200й ответ);
3. на неё направляем все 404 страницы, например – https://site.com/folfdsfods
4. страница https://site.com/404 содержит:

• предупреждение, что такой страницы не существует;
• предложение перейти в другие разделы сайта, либо воспользоваться поиском.

Т. е., должны быть ссылки на популярные разделы или основное меню.

5. с помощью краулеров выявляем и устраняем причины возникновения 404х т. н. “битых” ссылок;
6. для того, чтоб данные об отсутствующих или страницах с ошибками отражались в отчетах Google Analytics:

• на страницу с кодом 404 добавляем код отслеживания Google Analytics;
• + строку перед кодом GTM:

   id404 = "true";  

Теперь собранные данные можно просмотреть в разделе Content (Top pages, Top landing pages, Top exit pages) отчета Google Analytics.
Информация по "плохим" 404 страницам покажет объем битых ссылок. Так мы сможем смело удалить или изменить их. Причем удалить их придется и из индекса. Делаем это через панель Google. Чтоб удалить битую страницу, оформляем ей ошибку 404. При следующем обходе робот выполнит запросы на удаление и они пропадут из Поиска.

• Soft 404 ошибка

404 Soft появляется, когда сервер должен ответить 404 (страница не существует), но отвечает 200 ОК.

Это может быть карточка товара с продукцией, которая уже не выпускается, т. е. товара точно не будет в наличии.
Если в этом случае мы пропишем редирект на категорию товара, чтоб передать вес, то Google из-за несхожести параметров страниц воспримет это как Soft 404 ошибку (Google определяет их как “мягкие страницы ошибок”).
Такая же проблема может возникнуть при пакетном перенаправлении большого количества страниц на одну.
Все ошибки 404 Soft нужно найти и исправить на 404.

Где можно найти все ошибки обработки ответов серверов? В логах файлов.
Это дополнительный инструмент исправления проблем при внутренней оптимизации сайта.

• 410 Gone

Аналог 404 ошибки. Код ответа оповещает о том, что страница удалена и более недоступна. При последующей проверке бот не станет ее обходить и вносить изменения в индекс.
Удобство 410 редиректа в уведомлении поисковых роботов о том, что страница удалена корректно и ее точно можно исключить из индекса.

1.5 Access Log и отчет в Search Console

Текстовый файл access.log собирает статистику сайта – все обращения к серверу поисковых роботов.

Что дает этот список URL:

• поиск низкокачественных страниц, которые не видит парсер, но о которых знает робот.

Кроме того, это может быть “черное SEO” от конкурентов (нагенерированные дубли для ухудшения продвижения).

• определение разделов сайта, которые недополучают визитов робота, что может привести к плохой индексации, если в таком разделе много страниц;
• понимание причин отсутствия в индексе группы страниц с низкой посещаемостью краулера.

2. Заголовки ответа сервера

Заголовки – команды обмена между сервером и поисковым роботом.

Заголовки содержат информацию о протоколе, кодировке, языке и др. составляющих работы ресурса.

2.1 Last-Modified

Хранит сведения о дате последнего редактирования страницы.

Механизм действия:

1. если при обходе получен заголовок Last-Modified, то в следующий раз при обращении к этому URL (и при наличии этой страницы в кэше браузера), робот запросит If-Modified-Since (были ли какие-то изменения на странице после даты в Last-Modified);
2. далее сервер сверяет полученное время с временем последнего изменения страницы;
3. если дата не менялась, он отвечает “304 Not Modified”.

Заголовок Last-Modified годится для ускорения индексации сайтов-многостраничников.
Проще говоря, если на сайте изменено 5 страниц из 100, то обходить все 100 сканеру не нужно. Паук сначала проиндексирует страницы с заголовком Last-Modified, и уже после – все остальные, если уложится в то лимитированное время, которое отведено для обхода 1 сайта.

2.2 If-Modified-Since

Показывает, вносились ли на страницу изменения после даты, которая получена в Last-Modified.

Механизм:

• клиент получает запрос If-Modified-Since;
• сверяет дату с временем последнего изменения страницы;
• если они совпадают, сервер отвечает 304 Not Modified и страница подгружается из кэша;
• если же время последнего изменения отличается, ответ будет 200 ОК.

2.3 Expires

Хранит временную метку, после наступления которой ответ сервера считается устаревшим.
Expire date нужна для кэширования содержимого URLов, чтоб при следующих обращениях к серверу эти URL заново не подгружались.

• дата создания страницы = реальному времени последнего изменения страницы.

Либо, если контент статический, она равна моменту запроса страницы и дате создания файла.

• Expire date всех страницравна текущему моменту времени + 3600 секунд для того, чтоб закэшировать статические элементы на 1 час.

Итого, коды статуса сервера дают понять поисковым ботам, как работать со страницей. По ответам и заголовкам робот либо пропускает контент (т. к. с его прошлого обхода страница не изменялась), либо вносит в индекс, либо возвращается к ней позже.

3. Как настроить редиректы в разных CMS

1. Если вы работаете на веб-сервере Apache, то самый простой способ настроить редирект – через файл .htaccess.

WordPress

Файл .htaccess находится в корневой папке сайта. Для этого нужно зайти в панель управления хостинга: Файлы – Файловый менеджер. Либо, если вы используете cPanel, то Диспетчер файлов – Файлы. Или же подключиться можно через FTP.

Для OpenCart следует прописать код:

RewriteCond %{QUERY_STRING} ^_route_=адрес_старой_страницы.html$
RewriteRule ^(.*)$ https://ваш_домен.ua/новой_страницы/? [R=301,L]

Битрикс

RewriteEngine On
RewriteCond %{HTTP_HOST} ^www.itforce.ua$ [NC]
RewriteRule ^(.*)$ https://itforce.ua/$1 [R=301,L]

Joomla

Настройка происходит через панель администратора в разделе Компоненты – Перенаправление.
Тут также можно отслеживать страницы с битыми ссылками и сразу же настроить перенаправление на корректные страницы.

2. Второй способ – плагины для CMS.

Для WordPress:

• Redirection – помимо настройки редиректов собирает статистику переадресаций, отслеживает 404-ошибки, поддерживает регулярные выражения.
• Simple 301 Redirects – URL для перенаправлений надо вносить вручную.
• Quick Page/Post Redirect Plugin – регулярные выражения не поддерживает, но добавляет к ссылкам атрибут “nofollow”.
• Safe redirect manager – работает с регулярными выражениями.

Заходим в админку, дальше Инструменты – Redirection.

Рис. 5 – Добавление нового

Рис. 6 – Редактирование старого

OpenCart

Есть готовый платный модуль “Менеджер 301 редиректов”.

Битрикс

Существует несколько платных модулей: Редирект мастер, Перенаправление ссылок, Редиректор, и др..

Joomla

В этой CMS есть встроенный компонент “Компоненты – Перенаправление”.

4. Что же по SEO?

Страницы, которые продвигаются, должны давать код ответа 200.
Перемещенные – 301.
И 404 – все страницы с ошибками.
Каждый код должен соответствовать назначенной задаче. Так поисковые роботы работают более эффективно со страницами сайта.

Upd. 26.07.2021. О сохранении редиректов – пост в Twitter сотрудника Google Гарри Илша:

Согласно SEO, редиректы желательно оставлять как минимум в течение года. Это поможет гарантировать постоянную передачу на новый URL-адрес всех сигналов. Но даже если вы решите через год их удалить, для пользователей редиректы желательно сохранять навсегда (речь идет не о годе с момента создания, а с момента их первого сканирования Google).

Надеемся, теперь у вас не возникнет проблем с настройкой ответов.
А если осталось какое-либо недопонимание, задавайте вопросы комментариях, наши специалисты охотно на них ответят.