Часто слышу жалобы на нехватку трафика для сплит-тестирований. Это проблема имеет место быть.
К счастью, у большинства она надумана. Успешные тесты можно проводить и на трафике 100-200 посетителей в сутки.
Как это можно сделать:
- немного математики для понимания
- отсекаем незадействованных посетителей
- выбираем правильную метрику
Немного математики сплит-теста
Google говорит, что для завершения эксперимента с изменением конверсии с 4% до 5% необходимо 22330 посетителей. Это очень много.
Во-первых изменение конверсии с 4% до 5% — это рост на 25%! Вроде мало, а попробуйте так: “рост оборота на 25%!”. Уже не так мало.
Так вот рост конверсии (транзакции, покупки) на 25% встречается редко. Если удается поднять конверсию и продажи на 5-10% — это уже очень-очень сильно. Если интересно, посмотрите раздел о повышении конверсии.
Математика говорит, что чем меньше изменение конверсии (дельта), тем больше трафика надо для эксперимента.
Делаем очень просто вывод: чтобы уменьшить кол-во трафика, необходимо увеличить изменение конверсии (дельту).
Заранее не известно на сколько новый вариант увеличит конверсию и сколько понадобится трафика для завершения эксперимента. Ниже два способа, как мы можем на это повлиять.
Отсекаем незадействованный трафик
Суть в том, что не все посетители сайта должны попадать в тест. Например, тестируем карточку товара. Значит в тест должны попасть только люди посетившие карточку товара. Люди посетившие только главную страницу или витрину, не должны учитываться в тесте.
В цифрах это выглядит так. 100 человек зашло на сайт, 40 человек зашло на карточку товара, 1 человек совершил покупку.
Если считать от 100 посетителей, то одна покупка — это 1% конверсии. Если считать от 40 человек, посетивших карточку товара, то это уже 2.5% конверсии.
Вывод очень прост. Если вычеркнуть из эксперимента людей не посетивших нужную страницу, то % конверсии растет. Значит время на завершения теста снижается.
Очень часто такую ошибку допускают тестируя корзину и страницу оформления заказа.
Технически ошибка возникает из-за неправильного размещения кода системы тестирования.
Выбираем правильную метрику для сплит теста
Продолжим рассматривать наш пример. У нас уже 40 человек зашло на карточку товара и 1 человек совершил покупку. Конверсия 2.5%.
Надо понимать, что целевое действие на карточке товара не покупка. Обычно это добавление товара в корзину.
Основной метрикой для карточки товара должно выступать “добавление в корзину” (click на кнопке “купить / в корзину”). В зависимости от аналитики, целью эксперимента может быть:
- увеличить кол-во кликов на “добавить в корзину”
- заказ обратного звонка
- снизить уходы на страницу “оплата и доставка”
- снизить уходы на страницу “контакты”
- снизить отказы и/или выходы
- увеличить просмотр фото и/или видео
- увеличить просмотр описания / характеристик / отзывов.
- оставить комментарий / отзыв
- и т.д.
Как видно, цели бывают очень разные. Не надо всегда ориентироваться на транзакции (продажи).
На нашем примере, если заменить целевое действие с покупки на добавление в корзину, то конверсия скорее всего будет 5%-7.5%. Это значит, что продолжительность эксперимента еще уменьшается.
А/Б тест на малом трафике
В подтверждение вот скриншот Google Content Experimetns. Это мои эксперименты. Они завершены и можно видеть сколько трафика понадобилось, чтобы они завершились.
Не откладывайте оптимизацию и тестирование на завтра. Мало трафика — это отговорки. Начинайте тестировать уже сегодня. В прошлой статье я рассказывал как запустить сплит-тест за 1 час.