Сплит-тест на маленьком трафике

Часто слышу жалобы на нехватку трафика для сплит-тестирований. Это проблема имеет место быть.

К счастью, у большинства она надумана. Успешные тесты можно проводить и на трафике 100-200 посетителей в сутки.

Как это можно сделать:

  • немного математики для понимания
  • отсекаем незадействованных посетителей
  • выбираем правильную метрику

Немного математики сплит-теста

Google говорит, что для завершения эксперимента с изменением конверсии с 4% до 5% необходимо 22330 посетителей. Это очень много.

Во-первых изменение конверсии с 4% до 5% — это рост на 25%! Вроде мало, а попробуйте так: “рост оборота на 25%!”. Уже не так мало.

Так вот рост конверсии (транзакции, покупки) на 25% встречается редко. Если удается поднять конверсию и продажи на 5-10% — это уже очень-очень сильно. Если интересно, посмотрите раздел о повышении конверсии.

Математика говорит, что чем меньше изменение конверсии (дельта), тем больше трафика надо для эксперимента.

Делаем очень просто вывод: чтобы уменьшить кол-во трафика, необходимо увеличить изменение конверсии (дельту).

Заранее не известно на сколько новый вариант увеличит конверсию и сколько понадобится трафика для завершения эксперимента. Ниже два способа, как мы можем на это повлиять.

Отсекаем незадействованный трафик

Суть в том, что не все посетители сайта должны попадать в тест. Например, тестируем карточку товара. Значит в тест должны попасть только люди посетившие карточку товара. Люди посетившие только главную страницу или витрину, не должны учитываться в тесте.

В цифрах это выглядит так. 100 человек зашло на сайт, 40 человек зашло на карточку товара, 1 человек совершил покупку.

Если считать от 100 посетителей, то одна покупка — это 1% конверсии. Если считать от 40 человек, посетивших карточку товара, то это уже 2.5% конверсии.

Вывод очень прост. Если вычеркнуть из эксперимента людей не посетивших нужную страницу, то % конверсии растет. Значит время на завершения теста снижается.

Очень часто такую ошибку допускают тестируя корзину и страницу оформления заказа.

Технически ошибка возникает из-за неправильного размещения кода системы тестирования.

Выбираем правильную метрику для сплит теста

Продолжим рассматривать наш пример. У нас уже 40 человек зашло на карточку товара и 1 человек совершил покупку. Конверсия 2.5%.

Надо понимать, что целевое действие на карточке товара не покупка. Обычно это добавление товара в корзину.

Основной метрикой для карточки товара должно выступать “добавление в корзину” (click на кнопке “купить / в корзину”). В зависимости от аналитики, целью эксперимента может быть:

  • увеличить кол-во кликов на “добавить в корзину”
  • заказ обратного звонка
  • снизить уходы на страницу “оплата и доставка”
  • снизить уходы на страницу “контакты”
  • снизить отказы и/или выходы
  • увеличить просмотр фото и/или видео
  • увеличить просмотр описания / характеристик / отзывов.
  • оставить комментарий / отзыв
  • и т.д.

Как видно, цели бывают очень разные. Не надо всегда ориентироваться на транзакции (продажи).

На нашем примере, если заменить целевое действие с покупки на добавление в корзину, то конверсия скорее всего будет 5%-7.5%. Это значит, что продолжительность эксперимента еще уменьшается.

А/Б тест на малом трафике

В подтверждение вот скриншот Google Content Experimetns. Это мои эксперименты. Они завершены и можно видеть сколько трафика понадобилось, чтобы они завершились.

Гугл эксперименты, сплит тест

Не откладывайте оптимизацию и тестирование на завтра. Мало трафика — это отговорки. Начинайте тестировать уже сегодня. В прошлой статье я рассказывал как запустить сплит-тест за 1 час.