Starting a new project?
получить консультацию
Оставьте свои контактные данные, наш менеджер перезвонит вам.
Спасибо! Скоро с Вами свяжется наш менеджер.
Спасибо! Скоро с Вами свяжется наш менеджер.
Продвижение сайтов в поисковых системах никогда не обходится без технического аудита - поиска и устранения ошибок.
Очень часто от клиентов звучат фразы «у нас на сайте нет ошибок», «мы недавно делали аудит, зачем нам новый» и т. д.. Но, как правило, оказывается, что недавно может означать полгода назад, либо аудит делался поверхностный и ошибки, мешающие продвижению, не были устранены.
Во-первых, такой аудит подскажет, в каком состоянии находится ресурс.
Во-вторых, (и это самое главное) — станет известно, какие работы необходимо провести, чтобы улучшить сканирование и индексирование страниц сайта поисковыми роботами для получения результатов в продвижении.
Лучшим помощником SEO-специалистов в данном вопросе считается программа Screaming Frog SEO Spider, а также немного знаний и умений ею пользоваться. Ведь проверить сайт с помощью софта может каждый, а вот проанализировать данные, полученные в ходе сбора информации и выдать необходимые рекомендации, могут только специалисты.
В данной статье мы рассмотрим более детально, на что стоит обратить внимание при техническом анализе сайта с помощью Screaming Frog SEO Spider.
У программы есть бесплатная версия — ее функционала вполне хватает для проведения аудита. Но для сайтов с большим количеством страниц триал-версии будет недостаточно.
В самой программе существует масса функций. Но давайте сперва рассмотрим базовые настройки, необходимые нам для проведения техаудита.
Заходим в Configuration → Spider и смотрим:
1. Вкладка Crawl:
Рис. 1 — Вкладка Crawl
Для того чтобы ускорить процесс сбора информации, можно исключить из парсинга CSS и JavaScript. А в некоторых случая можно исключить и Images, если для вашего проекта они не так важны. Но, если сайт небольшой, советую Images не исключать — так вы сможете получить также информацию по оптимизации изображений.
2. Limits
Рис. 2 — Вкладка Limits
Это самая важная вкладка для анализа ресурсов с большим количеством страниц, т. к. тут можно установить лимиты по вложенности страниц. Данная настройка поможет вам существенно сэкономить время.
3. Spider Speed
Рекомендую перед стартом настроить скорость парсинга. Иначе есть шанс, что после запуска сканирования сервер не выдержит нагрузку и ляжет. В таком случае, в отчете вы увидите только кучу страниц с 5хх кодом ответа сервера.
Для настройки скорости зайдите в раздел Configuration → Speed:
Рис. 3 — Скорость парсинга
Иногда возникает потребность в анализе только конкретного раздела, а не всего сайта. В таком случае можно воспользоваться настройкой Configuration → Include.
А если необходимо исключить какой-то раздел, то тогда Configuration → Exclude. Но для этого необходимо разбираться в регулярных выражениях — это не сложно, тем более, что в справке есть подробная информация, а в инструментах настройки Include/Exclude можно протестировать составленные регулярные выражения.
Например, чтобы исключить все статьи из блога, для парсинга потребуется использовать следующее регулярное выражение:
https://itforce.ua/blogs/.*
Рис. 4 — Регулярное выражение для исключения статей блога
Чтобы проверить, сработает ли регулярное выражение, воспользуйтесь вкладкой Test:
Рис. 5 — Вкладка Test для проверки регулярного выражения
Если сайт закрыт от сканирования в robots.txt, то для того, чтобы Screaming Frog спарсил данные, нужно поставить галочку для опции игнорирования данного файла:
Рис. 6 — Игнорировать файл
А если доступ к сайту защищен паролем, то программа при старте парсинга попросит данные для входа:
Рис. 7 — Логин и пароль для парсинга сайта
Вводим и парсим.
После того как настроен базовый функционал, запускаем парсинг, вбив в строку ввода адреса URL анализируемого сайта. Если сайт небольшой, то это не займет много времени. После завершения сканирования приступаем к анализу полученных данных.
Главное окно программы разделено на 4 области:
Рис. 8 — Главное окно Screaming Frog SEO Spider
Теперь давайте детальнее пройдемся по отчетам из сводки: как их анализировать, искать ошибки и выдавать рекомендации для исправления. Все отчеты рассматривать не будем, т. к. их очень много — возьмем только самые важные.
1. Internal
Во вкладке Internal находится информация обо всех внутренних страницах сайта. Тут объединены данные практически со всех других вкладок, кроме External, Hreflang и Structured Data.
Но советую рассматривать данные в каждой вкладке отдельно, так намного удобнее.
Рис. 9 — Вкладка Internal
2. External
В этой вкладке отображается информация про все внешние ресурсы, на которые ссылается анализируемый сайт. Причем внешними считаются даже ссылки с поддоменов.
Таким образом, можно узнать, какие внешние ссылки размещены на сайте, где они размещены, рабочие ли и т. д..
Рис. 10 — Вкладка External
В данном отчете иногда можно найти очень много полезного: ссылки на сайты запрещенной тематики (например, если был взлом), другие ресурсы компании (так можно найти сайты-аффилиаты), неуникальный контент (например, когда текст копируют вместе с источником) — да, даже такое встречается.
3. Security
На вкладке Безопасность содержится следующая информация:
Рис. 11 — Вкладка Security
4. Response Codes
На вкладке Коды ответов отображены статусы и коды статусов всех ссылок (как внутренних, так и внешних). Тут отображаются следующие данные:
Screaming Frog соберет все статусы кодов, если вы верно указали настройки при парсинге. Но, самое важное в данном отчете — это не просто обнаружить такие ссылки, а понять, где они находятся, чтобы исправить их — заменить на рабочие или удалить. Для этого в 3 окне программы есть очень полезная вкладка Inlinks — она отобразит информацию, где была найдена каждая ссылка из отчета.
Рис. 12 — Вкладка Inlinks
5. URL
Это вкладка включает информацию по ошибкам, допущенным в формировании URL-адресов, а именно:
Рис. 13 — Длина URL
Если изменяете какие-то URL, не забывайте настраивать 301 редиректы со старых адресов на новые, иначе появится много битых ссылок (подробнее о них можете почитать в нашей статье).
6. Page Titles
Заголовок страниц — это HTML элемент, который описывает суть страницы (как для пользователей, так и для поисковых систем).
Этот тег считается одним из самых важных в ранжировании. Поэтому ошибки, допущенные при его формировании, очень сильно влияют на результаты продвижения.
Эта вкладка собирает следующую информацию по заголовкам:
Самые важные правила при формировании Title:
Если были обнаружены какие-то из вышеперечисленных ошибок, то необходимо их устранить- прописать качественные уникальные заголовки.
7. Meta Description
Описание страницы — это HTML элемент, который представляет собой более подробное описание содержимого страницы.
На данной вкладке Screaming Frog отображает следующую информацию о Description:
Тут практически все то же самое, как и в Title, за исключением того, что описание не сильно влияет на ранжирование, т. к. поисковые системы в качестве описания могут взять любую информацию из содержания страницы и отобразить ее в выдаче.
Но я советую хотя бы обратить внимание на отчеты, связанные с отсутствием и дублированием описаний.
8. H1
Заголовок Н1 — считается самым важным заголовком на странице и он максимально должен описывать суть страницы. Как мы уже знаем, он не должен дублироваться с Title.
К сожалению, в отчетах по умолчанию Screaming Frog собирает информацию только по заголовкам Н1 и Н2.
Но если необходимо выгрузить все остальные заголовки, то можно воспользоваться функцией поиска в HTML-коде страниц сайта. Для этого перейдите в Configuration → Custom → Extraction и задайте правила для сбора данных.
Подробнее о способах извлечения данных с помощью Screaming Frog SEO Spider можно почитать в статье по извлечению данных с помощью XPath и Regex.
9. Content
В текущей вкладке отображаются данные по содержанию URL адресов:
Для заполнения данных по последним двум отчетам необходимо выставить настройки в Configuration → Content → Spelling & Grammar.
Как известно, дублирование контента ничего хорошего не принесет. В лучшем случае, со страницей ничего не произойдет, а в худшем она может не попасть в индекс или повлиять на ранжирование.
10. Images
В данных по изображениям (сюда относятся как внутренние, так и внешние изображения), отображаются типичные ошибки при оптимизации:
Атрибуты Alt должны указывать релевантный и описательный альтернативный текст об изображении. Для некоторых проектов оптимизация картинок очень важна, т. к. позволяет изображениям появляться в результатах поиска по картинкам в Google.
Слишком большой вес изображений может повлиять на скорость загрузки сайта, что сегодня уже тоже является фактором ранжирования.
Поэтому рекомендую обратить внимание на оптимизацию изображений.
11. Canonicals
На вкладке отображаются общая информация, связанная с каноническими адресами:
12. Directives
На вкладке директив отображаются данные, относящиеся к метатегу robots и тегу X-Robots-Tag. Они управляют тем, как контент отображается в поисковых системах.
Рис. 14 — Вкладка Directives
Самое важное в этом разделе — проверить ссылки с директивой Noindex. Действительно ли страницы, попавшие в данный отчет, не должны индексироваться. Ведь в таком случае их не будет в выдаче ПС, а значит, они не будут приносить трафик, хотя сканировать поисковым роботам их разрешено. Возможно, директива указана ошибочно. К этим настройкам следует отнестись очень внимательно.
13. Hreflang
Вкладка содержит подробную информацию о тегах hreflang, отвечающих за версии страниц для конкретных языков и регионов.
Ошибки, на которые может указать отчет:
Чтобы понять, нет ли ошибок, необходимо знать, какие языковые версии на сайте существуют, и под какие регионы строится продвижение. Этого отчет не покажет — необходимо проверить информацию самостоятельно.
Ошибочно считать, что выполнив один раз технический аудит и исправив все обнаруженные ошибки, можно о нем забыть.
Каждый раз, когда вы внедряете что-то на сайт, рекомендуем проводить хотя бы быстрый техаудит, чтобы проверить, не затронули ваши изменения что-либо другое на сайте. Лучше всего поставить себе правило делать технический аудит раз в полгода или же после внедрения существенных корректировок на сайт.
Необходимо также учесть, что алгоритмы Google постоянно усовершенствуются и важно следить за всеми нововведениями, чтобы быть в курсе и вовремя вносить изменения на сайт.
Это лишь малая часть возможностей программы Screaming Frog SEO Spider. В действительности, если настроить интеграцию с другими сервисам, то решать можно очень много сложных задач. Но об этом, возможно, расскажем в другой раз.
Надеюсь, что эта статья была вам полезной и теперь вы самостоятельно можете делать базовый технический аудит своего сайта.
Если все же остались вопросы — пишите, с радостью ответим на них. Или заказывайте полный SEO аудит у профессионалов! Мы всегда рады помочь вывести ваш сайт в ТОП.
Вы уже подписаны на нашу рассылку!
Подтвердите свой Email для завершения подписки.
Спасибо! Скоро с Вами свяжется наш менеджер.