A/B-тестування сайту й реклами: як проводити після Google Optimize

1. Що таке A/B-тест і які бувають види

Суть проста: аудиторію випадково ділять на групи, кожна бачить свій варіант, а потім порівнюють, який дав кращий результат за заздалегідь обраною метрикою. Важливі обидва слова — випадково (інакше групи відрізняються не лише варіантом) і заздалегідь (інакше після тесту завжди знайдеться метрика, за якою виграв потрібний варіант).

Для більшості сайтів і рекламних акаунтів практичний вибір — звичайний A/B або спліт-тест URL. Багатоваріантні тести виглядають привабливо, але на трафіку середнього бізнесу вони майже ніколи не набирають достатньо даних.

2. Коли тест має сенс: трафік і тривалість

Найчастіша причина провальних A/B-тестів — не погана гіпотеза, а замало даних. Тест, який зупинили через тиждень, бо «варіант B уже виграє», у більшості випадків показує випадковість, а не ефект.

2.1 Скільки відвідувачів потрібно

Нижче — наш розрахунок за стандартною формулою для порівняння двох конверсій: рівень довіри 95%, потужність тесту 80%. Цифри — кількість відвідувачів на кожен варіант.

Два висновки з таблиці. Перший: чим нижча конверсія і чим менший ефект ви хочете побачити, тим більше трафіку потрібно — і зростає він дуже швидко. Другий: якщо на сторінку приходить кілька сотень людей на місяць, тестувати дрібні зміни на кшталт кольору кнопки немає сенсу. На такому трафіку перевіряють лише великі зміни — інший оффер, інша структура сторінки, інша форма.

2.2 Скільки тримати тест

• Цілими тижнями. Поведінка в понеділок і в суботу різна; тест на 10 днів змішує їх нерівномірно. Мінімум — один повний тиждень, краще два.
• До набору запланованої вибірки, а не до моменту, коли результат «виглядає переконливо».
• Не довше, ніж потрібно. Через 6–8 тижнів починають впливати сезонність, зміни в рекламі й очищення cookie, і групи перестають бути порівнянними.
• Без перетину з акціями й розпродажами, якщо тест не про них.

3. Як сформулювати гіпотезу

Тест без гіпотези — це вгадування з додатковими кроками. Робочий шаблон:

Якщо ми змінимо [що саме], то [яка метрика] зросте, тому що [чому ми так вважаємо].

Третя частина важливіша, ніж здається. «Бо так у конкурента» — не причина. «Бо в Clarity видно, що 60% мобільних користувачів не доскролюють до форми» — причина. Так гіпотеза спирається на дані, а програшний тест теж дає знання: ви дізнаєтеся, що припущення про поведінку було хибним.

Що зазвичай дає найбільший ефект на лендингах під рекламу — у порядку від сильнішого до слабшого:

1. Оффер і відповідність оголошенню. Сторінка обіцяє те саме, що й оголошення, за яким людина прийшла.
2. Перший екран. Заголовок, підзаголовок і заклик до дії, видимі без прокрутки.
3. Форма. Кількість полів, обов’язковість телефону, альтернатива у вигляді месенджера чи дзвінка.
4. Докази. Кейси, відгуки, логотипи клієнтів, гарантійні умови — розміщені поруч із формою, а не внизу сторінки.
5. Структура й довжина сторінки.
6. Дрібниці — колір кнопки, шрифти, іконки. Саме їх тестують найчастіше, і саме вони найрідше дають вимірюваний результат.

Докладніше про те, з чого складається сторінка, що конвертує, — у матеріалі про цільові сторінки.

4. A/B-тести в Google Ads — безкоштовно й без коду

Для тих, хто веде рекламу, найкорисніше, що після закриття Optimize можливість тестувати лендинги нікуди не зникла: вона є в самому Google Ads.

4.1 Варіації оголошень

Варіації оголошень працюють з адаптивними пошуковими оголошеннями й дозволяють показувати змінену версію частині трафіку — відсоток ви задаєте самі. Доступні три типи змін:

• Find and replace — знайти фразу в оголошеннях і замінити іншою;
• Update text — додати, прибрати чи закріпити заголовки й описи;
• Update URLs — змінити кінцеві URL, відображувані шляхи й мобільні URL.

Третій тип — це і є A/B-тест лендингу: частина користувачів із тих самих оголошень потрапляє на нову сторінку, решта — на стару. Ні коду на сайті, ні окремого сервісу не потрібно.

Статистичну значущість Google Ads позначає сам. У довідці це сформульовано так: якщо метрика позначена синьою зірочкою «*», результат статистично значущий — щонайменше з імовірністю 95% зміна показника пов’язана з вашою правкою, а не з випадковістю.

4.2 Кастомні експерименти

Коли треба перевірити не текст оголошення, а стратегію — іншу стратегію призначення ставок, інші типи відповідності, нову структуру груп, — використовують кастомні експерименти. Експеримент ділить з оригінальною кампанією її трафік і бюджет, а частку ви обираєте самі; Google рекомендує 50%, щоб порівняння було найточнішим.

Що тестуємо так найчастіше:

• перехід з ручних ставок на Target CPA чи Target ROAS;
• розширення типів відповідності ключових слів;
• новий лендинг для всієї кампанії, а не окремих оголошень;
• зміну структури кампанії без ризику для основного трафіку.

Як зробити самі оголошення сильнішими ще до тестів — у матеріалі про ефективність адаптивних оголошень.

5. A/B-тести на сайті: інструменти після Google Optimize

Якщо потрібно тестувати сторінки незалежно від реклами — для органічного трафіку, для всього сайту, для кошика чи оформлення замовлення, — знадобиться окремий інструмент. Власної заміни Optimize Google не зробив: замість цього компанія інтегрувалася зі сторонніми платформами й відкрила API, щоб інші інструменти могли працювати з Google Analytics.

Окремо — Microsoft Clarity. Це не інструмент для A/B-тестів, але саме з нього найкраще брати гіпотези: записи сесій і теплові карти показують, де користувачі застрягають, ще до того, як ви почнете щось змінювати. Про нього й інші безкоштовні сервіси — у нашій добірці інструментів для маркетингу.

6. Як налаштувати вимірювання

Інструмент тесту ділить трафік, але результат ви рахуєте в аналітиці. Якщо вона налаштована неправильно, тест покаже неправильного переможця.

• Метрика — це заявка чи покупка, а не клік. Налаштуйте ключові події в GA4 до старту тесту — наш чек-лист налаштування GA4 допоможе нічого не пропустити.
• Одна основна метрика, кілька допоміжних. Основна визначає переможця, допоміжні — пояснюють, чому. Про різницю між головними й проміжними діями — у матеріалі про мікро- та макроконверсії.
• Варіант має потрапляти в аналітику. Передавайте номер варіанту в GA4 як параметр події через Google Tag Manager, щоб можна було сегментувати результати.
• Уникайте «мерехтіння». Коли зміни вносить скрипт у браузері, користувач може на мить побачити оригінал, а потім варіант. Це псує досвід і результат тесту. Скрипт тесту має завантажуватися якомога раніше, а для великих змін краще спліт-тест URL, де кожен варіант — окрема сторінка.
• Перевірте розподіл трафіку. Якщо заплановано 50/50, а вийшло 55/45 — щось зламано: редирект, кеш, фільтр ботів. Такий тест не можна інтерпретувати, доки не знайдете причину.

7. Типові помилки

• Зупинити тест, щойно з’явився лідер. У перші дні результати коливаються найсильніше. Регулярне «підглядання» з рішенням зупинити тест різко збільшує шанс оголосити переможцем випадковість.
• Змінити все одразу й назвати це A/B-тестом. Якщо новий варіант відрізняється заголовком, формою і фото, ви дізнаєтеся, що він кращий чи гірший, але не дізнаєтеся чому. Для редизайну це нормально, для оптимізації — ні.
• Тестувати на малому трафіку дрібниці. Див. таблицю в розділі 2 — на кількох сотнях відвідувачів помітити +10% неможливо.
• Оголошувати переможця за проміжною метрикою. Варіант, де більше людей натиснули кнопку, не обов’язково дає більше заявок.
• Ігнорувати пристрої. Варіант може вигравати на десктопі й програвати на мобільних — у сумі це виглядає як «нічия».
• Не враховувати ефект новизни. Постійні відвідувачі реагують на будь-яку зміну просто тому, що вона нова. Для сайтів із великою часткою повторних візитів варто дивитися окремо на нових користувачів.
• Не записувати результати. Через рік ніхто не пам’ятатиме, що саме тестували і чому відмовилися від ідеї, — і її перевірять удруге.

8. Як читати результат і що робити далі

Будь-який тест закінчується одним із трьох результатів — і кожен корисний.

Результати тестів варто вести в одному місці: гіпотеза, що змінювали, скільки тривав тест, яка вибірка, результат і рішення. Через кілька місяців це стає найціннішим документом у проєкті — він показує, що працює саме на вашій аудиторії, а не в середньому по ринку.

Оцінити, як зростання конверсії вплине на виручку ще до запуску тесту, можна в нашому CRO-калькуляторі. Ширше про роботу з конверсією — у матеріалах що таке CRO та як провести CRO-аудит сайту.