A/B-тестирование сайта и рекламы: как проводить после Google Optimize

1. Что такое A/B-тест и какие бывают виды

Суть простая: аудиторию случайным образом делят на группы, каждая видит свой вариант, а затем сравнивают, какой дал лучший результат по заранее выбранной метрике. Важны оба слова — случайно (иначе группы отличаются не только вариантом) и заранее (иначе после теста всегда найдётся метрика, по которой выиграл нужный вариант).

Для большинства сайтов и рекламных аккаунтов практичный выбор — обычный A/B или сплит-тест URL. Многовариантные тесты выглядят привлекательно, но на трафике среднего бизнеса они почти никогда не набирают достаточно данных.

2. Когда тест имеет смысл: трафик и длительность

Самая частая причина провальных A/B-тестов — не плохая гипотеза, а слишком мало данных. Тест, который остановили через неделю, потому что «вариант B уже выигрывает», в большинстве случаев показывает случайность, а не эффект.

2.1 Сколько посетителей нужно

Ниже — наш расчёт по стандартной формуле для сравнения двух конверсий: уровень доверия 95%, мощность теста 80%. Цифры — количество посетителей на каждый вариант.

Два вывода из таблицы. Первый: чем ниже конверсия и чем меньший эффект вы хотите увидеть, тем больше нужно трафика — и растёт он очень быстро. Второй: если на страницу приходит несколько сотен человек в месяц, тестировать мелкие изменения вроде цвета кнопки нет смысла. На таком трафике проверяют только крупные изменения — другой оффер, другую структуру страницы, другую форму.

2.2 Сколько держать тест

• Целыми неделями. Поведение в понедельник и в субботу разное; тест на 10 дней смешивает их неравномерно. Минимум — одна полная неделя, лучше две.
• До набора запланированной выборки, а не до момента, когда результат «выглядит убедительно».
• Не дольше, чем нужно. Через 6–8 недель начинают влиять сезонность, изменения в рекламе и очистка cookie, и группы перестают быть сопоставимыми.
• Без пересечения с акциями и распродажами, если тест не о них.

3. Как сформулировать гипотезу

Тест без гипотезы — это угадывание с дополнительными шагами. Рабочий шаблон:

Если мы изменим [что именно], то [какая метрика] вырастет, потому что [почему мы так считаем].

Третья часть важнее, чем кажется. «Потому что так у конкурента» — не причина. «Потому что в Clarity видно, что 60% мобильных пользователей не доскролливают до формы» — причина. Так гипотеза опирается на данные, а проигравший тест тоже даёт знание: вы узнаёте, что предположение о поведении было ложным.

Что обычно даёт наибольший эффект на лендингах под рекламу — в порядке от сильного к слабому:

1. Оффер и соответствие объявлению. Страница обещает то же, что и объявление, по которому человек пришёл.
2. Первый экран. Заголовок, подзаголовок и призыв к действию, видимые без прокрутки.
3. Форма. Количество полей, обязательность телефона, альтернатива в виде мессенджера или звонка.
4. Доказательства. Кейсы, отзывы, логотипы клиентов, гарантийные условия — рядом с формой, а не внизу страницы.
5. Структура и длина страницы.
6. Мелочи — цвет кнопки, шрифты, иконки. Именно их тестируют чаще всего, и именно они реже всего дают измеримый результат.

Подробнее о том, из чего состоит конвертирующая страница, — в материале о целевых страницах.

4. A/B-тесты в Google Ads — бесплатно и без кода

Для тех, кто ведёт рекламу, самое полезное: после закрытия Optimize возможность тестировать лендинги никуда не исчезла — она есть в самом Google Ads.

4.1 Варианты объявлений

Варианты объявлений работают с адаптивными поисковыми объявлениями и позволяют показывать изменённую версию части трафика — процент вы задаёте сами. Доступны три типа изменений:

• Find and replace — найти фразу в объявлениях и заменить её другой;
• Update text — добавить, убрать или закрепить заголовки и описания;
• Update URLs — изменить конечные URL, отображаемые пути и мобильные URL.

Третий тип — это и есть A/B-тест лендинга: часть пользователей из тех же объявлений попадает на новую страницу, остальные — на старую. Ни кода на сайте, ни отдельного сервиса не нужно.

Статистическую значимость Google Ads отмечает сам. В справке это сформулировано так: если метрика отмечена синей звёздочкой «*», результат статистически значим — как минимум с вероятностью 95% изменение показателя связано с вашей правкой, а не со случайностью.

4.2 Кастомные эксперименты

Когда нужно проверить не текст объявления, а стратегию — другую стратегию назначения ставок, другие типы соответствия, новую структуру групп, — используют кастомные эксперименты. Эксперимент делит с оригинальной кампанией её трафик и бюджет, а долю вы выбираете сами; Google рекомендует 50%, чтобы сравнение было максимально точным.

Что тестируем так чаще всего:

• переход с ручных ставок на Target CPA или Target ROAS;
• расширение типов соответствия ключевых слов;
• новый лендинг для всей кампании, а не отдельных объявлений;
• изменение структуры кампании без риска для основного трафика.

Как сделать сами объявления сильнее ещё до тестов — в материале об эффективности адаптивных объявлений.

5. A/B-тесты на сайте: инструменты после Google Optimize

Если нужно тестировать страницы независимо от рекламы — для органического трафика, для всего сайта, для корзины или оформления заказа, — понадобится отдельный инструмент. Собственной замены Optimize Google не сделал: вместо этого компания интегрировалась со сторонними платформами и открыла API, чтобы другие инструменты могли работать с Google Analytics.

Отдельно — Microsoft Clarity. Это не инструмент для A/B-тестов, но именно из него лучше всего брать гипотезы: записи сессий и тепловые карты показывают, где пользователи застревают, ещё до того, как вы начнёте что-то менять. О нём и других бесплатных сервисах — в нашей подборке инструментов для маркетинга.

6. Как настроить измерение

Инструмент теста делит трафик, но результат вы считаете в аналитике. Если она настроена неправильно, тест покажет неправильного победителя.

• Метрика — это заявка или покупка, а не клик. Настройте ключевые события в GA4 до старта теста — наш чек-лист настройки GA4 поможет ничего не упустить.
• Одна основная метрика, несколько вспомогательных. Основная определяет победителя, вспомогательные — объясняют почему. О разнице между главными и промежуточными действиями — в материале о микро- и макроконверсиях.
• Вариант должен попадать в аналитику. Передавайте номер варианта в GA4 как параметр события через Google Tag Manager, чтобы можно было сегментировать результаты.
• Избегайте «мерцания». Когда изменения вносит скрипт в браузере, пользователь может на мгновение увидеть оригинал, а затем вариант. Это портит опыт и результат теста. Скрипт теста должен загружаться как можно раньше, а для крупных изменений лучше сплит-тест URL, где каждый вариант — отдельная страница.
• Проверьте распределение трафика. Если запланировано 50/50, а получилось 55/45 — что-то сломано: редирект, кеш, фильтр ботов. Такой тест нельзя интерпретировать, пока не найдёте причину.

7. Типичные ошибки

• Остановить тест, как только появился лидер. В первые дни результаты колеблются сильнее всего. Регулярное «подглядывание» с решением остановить тест резко увеличивает шанс объявить победителем случайность.
• Изменить всё сразу и назвать это A/B-тестом. Если новый вариант отличается заголовком, формой и фото, вы узнаете, что он лучше или хуже, но не узнаете почему. Для редизайна это нормально, для оптимизации — нет.
• Тестировать мелочи на малом трафике. См. таблицу в разделе 2 — на нескольких сотнях посетителей заметить +10% невозможно.
• Объявлять победителя по промежуточной метрике. Вариант, где больше людей нажали кнопку, не обязательно даёт больше заявок.
• Игнорировать устройства. Вариант может выигрывать на десктопе и проигрывать на мобильных — в сумме это выглядит как «ничья».
• Не учитывать эффект новизны. Постоянные посетители реагируют на любое изменение просто потому, что оно новое. Для сайтов с большой долей повторных визитов стоит смотреть отдельно на новых пользователей.
• Не записывать результаты. Через год никто не вспомнит, что именно тестировали и почему отказались от идеи, — и её проверят повторно.

8. Как читать результат и что делать дальше

Любой тест заканчивается одним из трёх результатов — и каждый полезен.

Результаты тестов стоит вести в одном месте: гипотеза, что меняли, сколько длился тест, какая выборка, результат и решение. Через несколько месяцев это становится самым ценным документом в проекте — он показывает, что работает именно на вашей аудитории, а не в среднем по рынку.

Оценить, как рост конверсии повлияет на выручку ещё до запуска теста, можно в нашем CRO-калькуляторе. Шире о работе с конверсией — в материале что такое CRO.