замовити дзвінок
+38 057 782-28-00
замовити дзвінок
Starting a new project?
отримати консультацію
Читайте наш Telegram 👈
12
2

Просування сайтів в пошукових системах ніколи не обходиться без технічного аудиту - виявлення та усунення несправностей.

Дуже часто від клієнтів звучать фрази «у нас на сайті немає помилок», «ми недавно робили аудит, навіщо нам новий » і т. д.. Але, як правило, виявляється, що недавно може означати півроку назад, або аудит робився поверхневий й помилки, що заважають просуванню, не були усунуті.


1. Для чого ж SEO спеціалісти проводять технічні аудити?

По-перше, такий аудит підкаже, в якому стані знаходиться ресурс.

По-друге, (і це найголовніше) – стане відомо, які роботи необхідно провести, щоб поліпшити сканування та індексування сторінок сайту пошуковими роботами для отримання результатів у просуванні.

Кращим помічником SEO-спеціалістів в даному питанні вважається програма Screaming Frog SEO Spider, а також трохи знань та умінь нею користуватися. Адже перевірити сайт за допомогою софта може кожен, а ось проаналізувати дані, отримані в ході збору інформації й видати необхідні рекомендації, можуть тільки спеціалісти.

У даній статті ми розглянемо більш детально, на що варто звернути увагу при технічному аналізі сайту за допомогою Screaming Frog SEO Spider.


2. Базові налаштування Screaming Frog SEO Spider

У програми є безкоштовна версія – її функціоналу цілком вистачає для проведення аудиту. Але для сайтів з великою кількістю сторінок тріал-версії буде недостатньо.

У самій програмі існує маса функцій. Але давайте спершу розглянемо базові налаштування, необхідні нам для проведення техаудиту.

Заходимо в Configuration → Spider й дивимось:

1. Вкладка Crawl:

Screaming Frog SEO Spider техаудит

Рис. 1 – Вкладка Crawl

Для того, щоб прискорити процес збору інформації, можна виключити з парсинга CSS та JavaScript. А в деяких випадках можна виключити й Images, якщо для вашого проекту вони не так важливі. Але, якщо сайт невеликий, раджу Images не виключати – так ви зможете отримати також інформацію щодо оптимізації зображень.

2. Limits

Screaming Frog Вкладка Limits

Рис. 2 – Вкладка Limits

Це найважливіша вкладка для аналізу ресурсів з великою кількістю сторінок, т. я. тут можна встановити ліміти по вкладеності сторінок. Ця установка допоможе вам істотно заощадити час.

3. Spider Speed

Рекомендую перед стартом налаштувати швидкість парсинга. Інакше є шанс, що після запуску сканування сервер не витримає навантаження й ляже. В такому випадку, у звіті ви побачите тільки купу сторінок з 5хх кодом відповіді сервера.

Для налаштування швидкості зайдіть в розділ Configuration → Speed:

Screaming Frog Скорость парсинга

Рис. 3 – Швидкість парсинга

Іноді виникає потреба в аналізі тільки конкретного розділу, а не всього сайту. У такому випадку можна скористатися налаштуванням Configuration → Include.

А якщо необхідно виключити якийсь розділ, то тоді Configuration → Exclude. Але для цього необхідно розбиратися в регулярних виразах – це не складно, тим більше, що в довідці є докладна інформація, а в інструментах налаштування Include/Exclude можна протестувати складені регулярні вирази.

Наприклад, щоб виключити всі статті з блогу, для парсинга потрібно використовувати наступний регулярний вираз:

https://itforce.ua/blogs/.*

Screaming Frog исключение статей блога

Рис. 4 – Регулярний вираз для виключення статей блогу

Щоб перевірити, чи спрацює регулярний вираз, скористайтеся вкладкою Test:

Screaming Frog вкладка Test

Рис. 5 – Вкладка Test для перевірки регулярного виразу

Якщо сайт закритий від сканування в robots.txt, то для того, щоб Screaming Frog Спарс дані, потрібно поставити галочку для опції ігнорування даного файлу:

Screaming Frog игнорирование файла

Рис. 6 – Ігнорувати файл

А якщо доступ до сайту захищений паролем, то програма при старті парсинга попросить дані для входу:

Screaming Frog парсинг

Рис. 7 – Логін та пароль для парсинга сайту

Вводимо й парсимо.


3. Запуск парсинга та аналіз отриманих даних

Після того як налаштований базовий функціонал, запускаємо парсинг, вбивши в рядок введення адресу URL аналізованого сайту. Якщо сайт невеликий, то це не займе багато часу. Після завершення сканування приступаємо до аналізу отриманих даних.

Головне вікно програми розділене на 4 області:

  1. список всіх просканованих сторінок;
  2. зведення за даними сканування (тут потрібно шукати помилки або можна перемикатися в верхньому меню над першим вікном);
  3. Детальна інформація про сторінку, обраної з області 1;
  4. графічне відображення обраного звіту зі зведення.

Screaming Frog main window

Рис. 8 – Головне вікно Screaming Frog SEO Spider

Тепер давайте детальніше пройдемося по звітам зі зведення: як їх аналізувати, шукати помилки та видавати рекомендації для виправлення. Всі звіти розглядати не будемо, т. я. їх дуже багато – візьмемо тільки найважливіші.

1. Internal

У вкладці Internal знаходиться інформація про всі внутрішні сторінки сайту. Тут об’єднані дані практично зі всіх інших вкладок, крім External, Hreflang та Structured Data.
Але раджу розглядати дані в кожній вкладці окремо, так набагато зручніше.

Screaming Frog вкладка Intern

Рис. 9 – Вкладка Internal

2. External

У цій вкладці відображається інформація про всі зовнішні ресурси, на які посилається аналізований сайт. Причому зовнішніми вважаються навіть посилання з піддоменів.
Таким чином, можна дізнатися, які зовнішні посилання розміщені на сайті, де вони розміщені, робочі чи ні, і т. д..

Screaming Frog вкладка External

Рис. 10 – Вкладка External

В даному звіті іноді можна знайти дуже багато корисного: посилання на сайти забороненої тематики (наприклад, якщо був злом), інші ресурси компанії (так можна знайти сайти-афіліатов), неунікальний контент (наприклад, коли текст копіюють разом з джерелом) – так, навіть таке зустрічається.

3. Security

На вкладці Безпека міститься наступна інформація:

  • HTTP – такі URL-адреси є небезпечними;
  • HTTPS – якщо всі URL-адреси сайту ставляться до цього звіту, то все відмінно;
  • змішаний контент – коли сторінка завантажується по HTTPS, але всередині неї є посилання (CSS, JS, images), що відкриваються по протоколу HTTP;
  • Небезпечні/HTTP форми – на сторінці є форма, що містить атрибут дії з небезпечним URL, а значить дані, введені в поле, можуть бути переглянуті під час передачі. Або форма знаходиться на сторінці по HTTP протоколу, а значить дані, які користувач відправляє з її допомогою, не захищені.

Screaming Frog вкладка Security

Рис. 11 – Вкладка Security

4. Response Codes

На вкладці Коди відповідей відображені статуси та коди статусів всіх посилань (як внутрішніх, так і зовнішніх). Тут відображаються наступні дані:

  • Адреси, заблоковані файлом robots.txt: якщо в поточний звіт потрапили важливі для просування сторінки, то необхідно перевірити ще раз файл robots.txt та скорегувати його, т. я. заблоковані з його допомогою адреси швидше за все не проскановані та не проіндексовані пошуковими роботами.
  • No Response – це означає, що адреса ресурсу не надсилає відповідь на HTTP запит. Причиною можуть бути неправильні адреси, помилка з’єднання і т. д..
  • Success 2xx – запитана адреса була отримана, прийнята та успішно оброблена.
  • Redirection 3xx – тут відображаються перенаправлення (редиректи) на стороні сервера. Такі посилання небажані, т. я. вони впливають на швидкість завантаження та збільшують затримку між переходами користувачів.
  • Client Error 4xx – означає, що є проблема із запитом. Найпоширенішим вважається код 404 – Сторінку не знайдено. Таких сторінок на сайті бути не повинно – необхідно замінити їх на робочі адреси, видалити з сайту або налаштувати перенаправлення.
  • Server Error 5xx – серверу не вдалося виконати запит. Цей звіт може означати, що сервер не справляється з навантаженням (необхідно їого відкоригувати) або ж виставити інші налаштування для парсинга (занадто велика кількість запитів й сервер просто-напросто не витримує).

Screaming Frog збере всі статуси кодів, якщо ви вірно вказали налаштування при парсингу. Але, найважливіше в даному звіті – це не просто виявити такі посилання, а зрозуміти, де вони знаходяться, щоб виправити їх – замінити на робочі або видалити. Для цього в 3 вікні програми є дуже корисна вкладка Inlinks – вона відобразить інформацію, де було знайдено кожне посилання зі звіту.

Screaming Frog Вкладка Inlinks

Рис. 12 – Вкладка Inlinks

5. URL

Це вкладка включає інформацію по помилках, допущених у формуванні URL-адрес, а саме:

  • символи, відмінні від ASCII;
  • підкреслення – вони не завжди сприймаються пошуковими системами як роздільники слів, так що краще використовувати дефіси;
  • прописні – URL чутливі до регістру, тому, щоб уникнути дублів, краще використовувати адреси в нижньому регістрі;
  • множинні слеші – адреси повинні містити тільки одну косу риску, інакше пошукові системи можуть порахувати такі посилання дублями;
  • повторюваний шлях – ознаки некоректної структури;
  • пробіл – вважається небезпечним і може стати причиною розриву посилання;
  • внутрішній пошук – URL може бути частиною внутрішнього пошуку на сайті, який пошукові системи рекомендують блокувати для сканування, а, відповідно, й індексування;
  • параметри – адреси, що включають “?” та “&”. Не вважаються грубою помилкою, але рекомендовано обмежити кількість цих параметрів;
  • більше 115 символів – не чітке правило, але чим менше довжина у URL, тим краще.

Screaming Frog Длина URL

Рис. 13 – Довжина URL

Якщо змінюєте якісь URL, не забувайте налаштовувати 301 редіректи зі старих адрес на нові, інакше з’явиться багато битих посилань (докладніше про них можете почитати в нашій статті).

6. Page Titles

Заголовок сторінок – це HTML елемент, який описує суть сторінки (як для користувачів, так і для пошукових систем).
Цей тег вважається одним з найбільш важливих в ранжуванні. Тому помилки, допущені при його формуванні, дуже сильно впливають на результати просування.

Ця вкладка збирає наступну інформацію по заголовкам:

  • їх відсутність;
  • дублювання;
  • більше 60 символів;
  • менше 30 символів;
  • більше X пікселів;
  • нижче X пікселів;
  • такі ж, як і Н1;
  • наявність декількох заголовків.

Найважливіші правила при формуванні Title:

  • тег повинен бути єдиним;
  • не пустим;
  • не дублюватися (і не бути ідентичним назві Н1);
  • і бажано не дуже довгим.

Якщо були виявлені якісь з перерахованих вище помилок, то необхідно їх позбутися – прописати якісні унікальні заголовки.

7. Meta Description

Опис сторінки – це HTML елемент, який представляє собою більш докладний опис вмісту сторінки.

На даній вкладці Screaming Frog відображає наступну інформацію про Description:

  • відсутність;
  • дублювання;
  • більше 155 символів;
  • менше 70 символів;
  • більше X пікселів;
  • нижче X пікселів;
  • кілька описів.

Тут практично все те ж саме, як і в Title, за винятком того, що опис не сильно впливає на ранжування, т. я. пошукові системи в якості опису можуть взяти будь-яку інформацію зі змісту сторінки та відобразити її у видачі.
Але я раджу хоча б звернути увагу на звіти, пов’язані з відсутністю і дублюванням описів.

8. H1

Заголовок Н1 – вважається найважливішим заголовком на сторінці та він максимально повинен описувати суть сторінки. Як ми вже знаємо, він не повинен дублюватися з Title.

На жаль, в звітах за замовчанням Screaming Frog збирає інформацію тільки по заголовкам Н1 та Н2.
Але якщо необхідно вивантажити всі інші заголовки, то можна скористатися функцією пошуку в HTML-коді сторінок сайту. Для цього перейдіть в Configuration → Custom → Extraction та задайте правила для збору даних.

Детальніше про способи отримання даних за допомогою Screaming Frog SEO Spider можна почитати в статті щодо вилучення даних за допомогою XPath та Regex.

9. Content

У поточній вкладці відображаються дані за змістом URL адрес:

  • точні дублікати;
  • часткові дублікати;
  • сторінки з низьким вмістом контенту;
  • орфографічні помилки;
  • граматичні помилки.

Для заповнення даних за останні два звіта необхідно виставити налаштування в Configuration → Content → Spelling & Grammar.

Як відомо, дублювання контенту нічого доброго не принесе. У кращому випадку, зі сторінкою нічого не станеться, а в гіршому вона може не потрапити в індекс або вплинути на ранжування.

10. Images

В даних по зображеннях (сюди відносяться як внутрішні, так і зовнішні зображення), відображаються типові помилки при оптимізації:

  • вага більше 100 кб;
  • відсутність alt;
  • довжина alt понад 100 символів.

Атрибути Alt повинні вказувати релевантний та описовий альтернативний текст про зображення. Для деяких проектів оптимізація картинок дуже важлива, т. я. дозволяє зображенням з’являтися в результатах пошуку по картинках в Google.

Занадто велика вага зображень може вплинути на швидкість завантаження сайту, що сьогодні вже теж є фактором ранжування.

Тому рекомендую звернути увагу на оптимізацію зображень.

11. Canonicals

На вкладці відображається загальна інформація, пов’язана з канонічними адресами:

  • канонізована сторінка – цей звіт не завжди може говорити про помилки. Тут необхідно точково розглядати сторінки індивідуально по кожному проекту.
  • відсутній канонічний адрес – якщо Canonical не вказано, то існує шанс, що пошукова система може порахувати канонічною зовсім іншу сторінку, і якщо так трапиться, то з’являться проблеми з індексацією.
  • зазначено кілька посилань – помилка, т. я. на сторінці повинен бути зазначений тільки один канонічний адрес.

12. Directives

На вкладці директив відображаються дані, що відносяться до метатегів robots та тегу X-Robots-Tag. Вони керують тим, як контент відображається в пошукових системах.

Screaming Frog вкладка Directives

Рис. 14 – Вкладка Directives

Найважливіше в цьому розділі – перевірити посилання з директивою Noindex. Чи дійсно сторінки, що потрапили в даний звіт, не повинні індексуватися. Адже в такому випадку їх не буде у видачі ПС, а значить, вони не будуть приносити трафік, хоча сканувати пошуковим роботам їх дозволено. Можливо, директива вказана помилково. До цих налаштувань слід поставитися дуже уважно.

13. Hreflang

Вкладка містить детальну інформацію про тегах hreflang, що відповідають за версією сторінок для конкретних мов та регіонів.

Помилки, на які може вказати звіт:

  • URL адреси різних мовних версій не пов’язані між собою;
  • Код відповіді сторінок, відмінний від 200 ОК;
  • Noindex Return Links – посилання містять метатег Noindex;
  • Неправильні коди мови та регіону – перевіряє правильність значень коду мови (в форматі ISO 639-1) та додаткових регіональних (в форматі ISO 3166-1 Alpha 2);
  • Відсутній X-Default.

Щоб зрозуміти, чи немає помилок, необхідно знати, які мовні версії на сайті існують, та під які регіони будується просування. Цього звіт не покаже – необхідно перевірити інформацію самостійно.


4. Як часто необхідно проводити технічний аудит?

Помилково вважати, що виконавши один раз технічний аудит та виправивши всі виявлені помилки, можна про нього забути.

Кожен раз, коли ви впроваджуєте щось на сайт, рекомендуємо проводити хоча б швидкий техаудит, щоб перевірити, чи не торкнулися ваші зміни будь-чого іншого на сайті. Найкраще поставити собі правило робити технічний аудит раз на півроку або ж після впровадження суттєвих коригувань на сайт.

Необхідно також врахувати, що алгоритми Google постійно вдосконалюються й важливо стежити за всіма нововведеннями, щоб бути в курсі та вчасно вносити зміни на сайт.


Висновок

Це лише мала частина можливостей програми Screaming Frog SEO Spider. Насправді, якщо налаштувати інтеграцію з іншими сервісами, то вирішувати можна дуже багато складних завдань. Але про це, можливо, розповімо іншим разом.

Сподіваюся, що ця стаття була вам корисною і тепер ви самостійно можете робити базовий технічний аудит свого сайту.

Якщо все ж залишилися питання – пишіть, з радістю відповімо на них. Або замовляйте повний SEO аудит у професіоналів! Ми завжди раді допомогти вивести ваш сайт в ТОП.


Як стати сеошником?

Дайджест оновлень алгоритмів Google (літо 2021)

Як оформити футер сайту?

Підпишіться на наші оновлення
Більше корисних статей та мануалів ще попереду. Будьте в курсі

Ви вже підписані на нашу розсилку!

Підтвердіть свій email для завершення підписки.

Замовити
просування
Більше корисних статей та мануалів ще попереду. Будьте в курсі

Дякуємо! Скоро з вами зв'яжеться наш менеджер.