заказать звонок
+38 057 782-28-00
заказать звонок
Starting a new project?
получить консультацию
Читайте наш Telegram 👈
83
8

Продвижение сайтов в поисковых системах никогда не обходится без технического аудита - поиска и устранения ошибок.

Очень часто от клиентов звучат фразы «у нас на сайте нет ошибок», «мы недавно делали аудит, зачем нам новый» и т. д.. Но, как правило, оказывается, что недавно может означать полгода назад, либо аудит делался поверхностный и ошибки, мешающие продвижению, не были устранены.


1. Для чего же SEO специалисты проводят технические аудиты?

Во-первых, такой аудит подскажет, в каком состоянии находится ресурс.

Во-вторых, (и это самое главное) — станет известно, какие работы необходимо провести, чтобы улучшить сканирование и индексирование страниц сайта поисковыми роботами для получения результатов в продвижении. 

Лучшим помощником SEO-специалистов в данном вопросе считается программа Screaming Frog SEO Spider, а также немного знаний и умений ею пользоваться. Ведь проверить сайт с помощью софта может каждый, а вот проанализировать данные, полученные в ходе сбора информации и выдать необходимые рекомендации, могут только специалисты.

В данной статье мы рассмотрим более детально, на что стоит обратить внимание при техническом анализе сайта с помощью Screaming Frog SEO Spider.


2. Базовые настройки Screaming Frog SEO Spider

У программы есть бесплатная версия — ее функционала вполне хватает для проведения аудита. Но для сайтов с большим количеством страниц триал-версии будет недостаточно.

В самой программе существует масса функций. Но давайте сперва рассмотрим базовые настройки, необходимые нам для проведения техаудита.

Заходим в Configuration → Spider и смотрим:

1. Вкладка Crawl:

Screaming Frog SEO Spider техаудит

Рис. 1 — Вкладка Crawl

Для того чтобы ускорить процесс сбора информации, можно исключить из парсинга CSS и JavaScript. А в некоторых случая можно исключить и Images, если для вашего проекта они не так важны. Но, если сайт небольшой, советую Images не исключать — так вы сможете получить также информацию по оптимизации изображений.

2. Limits

Screaming Frog Вкладка Limits

Рис. 2 — Вкладка Limits

Это самая важная вкладка для анализа ресурсов с большим количеством страниц, т. к. тут можно установить лимиты по вложенности страниц. Данная настройка поможет вам существенно сэкономить время.

3. Spider Speed

Рекомендую перед стартом настроить скорость парсинга. Иначе есть шанс, что после запуска сканирования сервер не выдержит нагрузку и ляжет. В таком случае, в отчете вы увидите только кучу страниц с 5хх кодом ответа сервера

Для настройки скорости зайдите в раздел Configuration → Speed:

Screaming Frog Скорость парсинга

Рис. 3 — Скорость парсинга

Иногда возникает потребность в анализе только конкретного раздела, а не всего сайта. В таком случае можно воспользоваться настройкой Configuration → Include.

А если необходимо исключить какой-то раздел, то тогда Configuration → Exclude. Но для этого необходимо разбираться в регулярных выражениях — это не сложно, тем более, что в справке есть подробная информация, а в инструментах настройки Include/Exclude можно протестировать составленные регулярные выражения.

Например, чтобы исключить все статьи из блога, для парсинга потребуется использовать следующее регулярное выражение:

https://itforce.ua/blogs/.*

Screaming Frog исключение статей блога

Рис. 4 — Регулярное выражение для исключения статей блога

Чтобы проверить, сработает ли регулярное выражение, воспользуйтесь вкладкой Test:

Screaming Frog вкладка Test

Рис. 5 — Вкладка Test для проверки регулярного выражения

Если сайт закрыт от сканирования в robots.txt, то для того, чтобы Screaming Frog спарсил данные, нужно поставить галочку для опции игнорирования данного файла:

Screaming Frog игнорирование файла

Рис. 6 — Игнорировать файл

А если доступ к сайту защищен паролем, то программа при старте парсинга попросит данные для входа:

Screaming Frog парсинг

Рис. 7 — Логин и пароль для парсинга сайта

Вводим и парсим.


3. Запуск парсинга и анализ полученных данных

После того как настроен базовый функционал, запускаем парсинг, вбив в строку ввода адреса URL анализируемого сайта. Если сайт небольшой, то это не займет много времени. После завершения сканирования приступаем к анализу полученных данных.

Главное окно программы разделено на 4 области:

  1. список всех просканированных страниц;
  2. сводка по данным сканирования (тут нужно искать ошибки или можно переключаться в верхнем меню над первым окном);
  3. подробная информация о странице, выбранной с области 1;
  4. графическое отображение выбранного отчета из сводки.

Screaming Frog main window

Рис. 8 — Главное окно Screaming Frog SEO Spider

Теперь давайте детальнее пройдемся по отчетам из сводки: как их анализировать, искать ошибки и выдавать рекомендации для исправления. Все отчеты рассматривать не будем, т. к. их очень много — возьмем только самые важные.

1. Internal

Во вкладке Internal находится информация обо всех внутренних страницах сайта. Тут объединены данные практически со всех других вкладок, кроме External, Hreflang и Structured Data.
Но советую рассматривать данные в каждой вкладке отдельно, так намного удобнее.

Screaming Frog вкладка Intern

Рис. 9 — Вкладка Internal

2. External

В этой вкладке отображается информация про все внешние ресурсы, на которые ссылается анализируемый сайт. Причем внешними считаются даже ссылки с поддоменов.
Таким образом, можно узнать, какие внешние ссылки размещены на сайте, где они размещены, рабочие ли и т. д..

Screaming Frog вкладка External

Рис. 10 — Вкладка External

В данном отчете иногда можно найти очень много полезного: ссылки на сайты запрещенной тематики (например, если был взлом), другие ресурсы компании (так можно найти сайты-аффилиаты), неуникальный контент (например, когда текст копируют вместе с источником) — да, даже такое встречается.

3. Security

На вкладке Безопасность содержится следующая информация:

  • HTTP — такие URL-адреса являются небезопасными;
  • HTTPS — если все URL-адреса сайта относятся к этому отчету, то все отлично;
  • смешанный контент — когда страница загружается по HTTPS, но внутри нее имеются ссылки (CSS, JS, images), открывающиеся по протоколу HTTP;
  • Небезопасные/HTTP формы — на странице есть форма, содержащая атрибут действия с небезопасным URL, а значит данные, введенные в поле, могут быть просмотрены во время передачи. Либо форма находится на странице по HTTP протоколу, а значит данные, которые пользователь отправляет с ее помощью, не защищены.

Screaming Frog вкладка Security

Рис. 11 — Вкладка Security

4. Response Codes

На вкладке Коды ответов отображены статусы и коды статусов всех ссылок (как внутренних, так и внешних). Тут отображаются следующие данные:

  • Адреса, заблокированные файлом robots.txt: если в текущий отчет попали важные для продвижения страницы, то необходимо перепроверить файл robots.txt и скорректировать его, т. к. заблокированные с его помощью адреса скорее всего не просканированы и не проиндексированы поисковыми роботами.
  • No Response — это значит, что адрес ресурса не отправляет ответ на HTTP запрос. Причиной могут быть неправильные адреса, ошибка соединения и т. д..
  • Success 2xx — запрошенный адрес был получен, принят и успешно обработан.
  • Redirection 3xx — тут отображаются перенаправления (редиректы) на стороне сервера. Такие ссылки нежелательны, т. к. они влияют на скорость загрузки и увеличивают задержку между переходами пользователей.
  • Client Error 4xx — означает, что есть проблема с запросом. Самым распространенным считается код 404 — Страница не найдена. Таких страниц на сайте быть не должно — необходимо заменить их на рабочие адреса, удалить с сайта или настроить перенаправление.
  • Server Error 5xx — серверу не удалось выполнить запрос. Этот отчет может означать, что сервер не справляется с нагрузкой (необходимо ее откорректировать) или же выставить другие настройки для парсинга (слишком большое количество запросов и сервер просто-напросто не выдерживает).

Screaming Frog соберет все статусы кодов, если вы верно указали настройки при парсинге. Но, самое важное в данном отчете — это не просто обнаружить такие ссылки, а понять, где они находятся, чтобы исправить их — заменить на рабочие или удалить. Для этого в 3 окне программы есть очень полезная вкладка Inlinks — она отобразит информацию, где была найдена каждая ссылка из отчета.

Screaming Frog Вкладка Inlinks

Рис. 12 — Вкладка Inlinks

5. URL

Это вкладка включает информацию по ошибкам, допущенным в формировании URL-адресов, а именно:

  • символы, отличные от ASCII;
  • подчеркивания — они не всегда воспринимаются поисковыми системами как разделители слов, так что лучше использовать дефисы;
  • прописные — URL чувствительны к регистру, поэтому, чтобы избежать дублей, лучше использовать адреса в нижнем регистре;
  • множественные слеши — адреса должны содержать только одну косую черту, иначе поисковые системы могут посчитать такие ссылки дублями;
  • повторяющийся путь — признаки некорректной структуры;
  • пробел — считается небезопасным и может стать причиной разрыва ссылки;
  • внутренний поиск — URL может быть частью внутреннего поиска на сайте, который поисковые системы рекомендуют блокировать для сканирования, а соответственно, и индексирования;
  • параметры — адреса, включающие “?” и “&”. Не считаются грубой ошибкой, но рекомендовано ограничить количество этих параметров;
  • более 115 символов — не четкое правило, но чем меньше длина у URL, тем лучше.

Screaming Frog Длина URL

Рис. 13 — Длина URL

Если изменяете какие-то URL, не забывайте настраивать 301 редиректы со старых адресов на новые, иначе появится много битых ссылок (подробнее о них можете почитать в нашей статье).

6. Page Titles

Заголовок страниц — это HTML элемент, который описывает суть страницы (как для пользователей, так и для поисковых систем).
Этот тег считается одним из самых важных в ранжировании. Поэтому ошибки, допущенные при его формировании, очень сильно влияют на результаты продвижения.

Эта вкладка собирает следующую информацию по заголовкам:

  • их отсутствие;
  • дублирование;
  • более 60 символов;
  • менее 30 символов;
  • более X пикселей;
  • ниже X пикселей;
  • такие же, как и Н1;
  • наличие нескольких заголовков.

Самые важные правила при формировании Title:

  • тег должен быть единственным;
  • не пустым;
  • не дублироваться (и не быть идентичным заголовку Н1);
  • и желательно не очень длинным.

Если были обнаружены какие-то из вышеперечисленных ошибок, то необходимо их устранить- прописать качественные уникальные заголовки.

7. Meta Description

Описание страницы — это HTML элемент, который представляет собой более подробное описание содержимого страницы.

На данной вкладке Screaming Frog отображает следующую информацию о Description:

  • отсутствие;
  • дублирование;
  • более 155 символов;
  • менее 70 символов;
  • более X пикселей;
  • ниже X пикселей;
  • несколько описаний.

Тут практически все то же самое, как и в Title, за исключением того, что описание не сильно влияет на ранжирование, т. к. поисковые системы в качестве описания могут взять любую информацию из содержания страницы и отобразить ее в выдаче.
Но я советую хотя бы обратить внимание на отчеты, связанные с отсутствием и дублированием описаний.

8. H1

Заголовок Н1 — считается самым важным заголовком на странице и он максимально должен описывать суть страницы. Как мы уже знаем, он не должен дублироваться с Title.

К сожалению, в отчетах по умолчанию Screaming Frog собирает информацию только по заголовкам Н1 и Н2.
Но если необходимо выгрузить все остальные заголовки, то можно воспользоваться функцией поиска в HTML-коде страниц сайта. Для этого перейдите в Configuration → Custom → Extraction и задайте правила для сбора данных.

Подробнее о способах извлечения данных с помощью Screaming Frog SEO Spider можно почитать в статье по извлечению данных с помощью XPath и Regex.

9. Content

В текущей вкладке отображаются данные по содержанию URL адресов:

  • точные дубликаты;
  • частичные дубликаты;
  • страницы с низким содержанием контента;
  • орфографические ошибки;
  • грамматические ошибки.

Для заполнения данных по последним двум отчетам необходимо выставить настройки в Configuration → Content → Spelling & Grammar.

Как известно, дублирование контента ничего хорошего не принесет. В лучшем случае, со страницей ничего не произойдет, а в худшем она может не попасть в индекс или повлиять на ранжирование.

10. Images

В данных по изображениям (сюда относятся как внутренние, так и внешние изображения), отображаются типичные ошибки при оптимизации:

  • вес более 100 кб;
  • отсутствие alt;
  • длина alt более 100 символов.

Атрибуты Alt должны указывать релевантный и описательный альтернативный текст об изображении. Для некоторых проектов оптимизация картинок очень важна, т. к. позволяет изображениям появляться в результатах поиска по картинкам в Google.

Слишком большой вес изображений может повлиять на скорость загрузки сайта, что сегодня уже тоже является фактором ранжирования.

Поэтому рекомендую обратить внимание на оптимизацию изображений.

11. Canonicals

На вкладке отображаются общая информация, связанная с каноническими адресами:

  • Канонизированная страница — этот отчет не всегда может говорить об ошибках. Тут необходимо точечно рассматривать страницы индивидуально по каждому проекту.
  • Отсутствует канонический адрес — если Canonical не указан, то существует шанс, что поисковая система может посчитать канонической совершенно другую страницу, и если так случится, то появятся проблемы с индексаций.
  • Указано несколько ссылок — ошибка, т. к. на странице должен быть указан только один канонический адрес.

12. Directives

На вкладке директив отображаются данные, относящиеся к метатегу robots и тегу X-Robots-Tag. Они управляют тем, как контент отображается в поисковых системах.

Screaming Frog вкладка Directives

Рис. 14 — Вкладка Directives

Самое важное в этом разделе — проверить ссылки с директивой Noindex. Действительно ли страницы, попавшие в данный отчет, не должны индексироваться. Ведь в таком случае их не будет в выдаче ПС, а значит, они не будут приносить трафик, хотя сканировать поисковым роботам их разрешено. Возможно, директива указана ошибочно. К этим настройкам следует отнестись очень внимательно.

13. Hreflang

Вкладка содержит подробную информацию о тегах hreflang, отвечающих за версии страниц для конкретных языков и регионов.

Ошибки, на которые может указать отчет:

  • URL адреса разных языковых версий не связаны между собой;
  • Код ответа страниц, отличный от 200 ОК;
  • Noindex Return Links — ссылки содержат метатег Noindex;
  • Неправильные коды языка и региона — проверяет правильность значений кода языка (в формате ISO 639-1) и дополнительных региональных (в формате ISO 3166-1 Alpha 2);
  • Отсутствует X-Default.

Чтобы понять, нет ли ошибок, необходимо знать, какие языковые версии на сайте существуют, и под какие регионы строится продвижение. Этого отчет не покажет — необходимо проверить информацию самостоятельно.


4. Как часто необходимо проводить технический аудит?

Ошибочно считать, что выполнив один раз технический аудит и исправив все обнаруженные ошибки, можно о нем забыть.

Каждый раз, когда вы внедряете что-то на сайт, рекомендуем проводить хотя бы быстрый техаудит, чтобы проверить, не затронули ваши изменения что-либо другое на сайте. Лучше всего поставить себе правило делать технический аудит раз в полгода или же после внедрения существенных корректировок на сайт.

Необходимо также учесть, что алгоритмы Google постоянно усовершенствуются и важно следить за всеми нововведениями, чтобы быть в курсе и вовремя вносить изменения на сайт.


Вывод

Это лишь малая часть возможностей программы Screaming Frog SEO Spider. В действительности, если настроить интеграцию с другими сервисам, то решать можно очень много сложных задач. Но об этом, возможно, расскажем в другой раз.

Надеюсь, что эта статья была вам полезной и теперь вы самостоятельно можете делать базовый технический аудит своего сайта.

Если все же остались вопросы — пишите, с радостью ответим на них. Или заказывайте полный SEO аудит у профессионалов! Мы всегда рады помочь вывести ваш сайт в ТОП.


Как стать сеошником?

Дайджест обновлений алгоритмов Google (лето 2021)

Как оформить футер сайта?

Подпишитесь на наши обновления
Больше полезных статей и мануалов еще впереди. Будьте в курсе!

Вы уже подписаны на нашу рассылку!

Подтвердите свой Email для завершения подписки.

Заказать
продвижение
Больше полезных статей и мануалов еще впереди. Будьте в курсе!

Спасибо! Скоро с Вами свяжется наш менеджер.