Что делать если А/Б тест ничего не показал?

А/Б тест

Сколько сплит-тестов вы уже провели? Наверняка единицы стали успешны, а большинство либо проигрывает, либо “примерно равны”. Что вы делаете в случае, если тест ничего не показал?

Само понятие А/Б-тестирования намекает нам, что вариантов у нас всего три:

  1. Продолжать тест дальше.
  2. Оставить варинат А.
  3. Внедрить вариант Б.

Что из этого выбрать?

Тест необходимо держать до статически значимых результатов. Сервисы для сплит-тестов это определяют сами и говорят “вариант А победил с вероятностью 95%”. Но даже если один из вариантов победил в первый день, то тест все равно надо держать несколько дней. Почему так, я расскажу в следующей статье о А/Б тестировании.

Но сколько стоит держать запущенным тест, если результата нет?

Теоретически при накоплении данных погрешность уменьшается и какой-то вариант выиграет. На практике бывает очень по разному. Бывает ситуация, когда вчера выиграывал А, а сегодня Б. Значит суммарно они равны. И сколько не держи ничего особенно не изменится. Лично я предпочитаю держать тесты примерно 2 недели. И держать тест еще дальше для меня не вариант.

Основне аргумент за вариант А: “мы ничего не меняем, а значит хуже не сделаем”. Обычно это психологическая отмазка, основанная на страхе перемен и ответственности.

А вот список аргументов, которые можно использовать сознательно:

  • мы можем внедрить Б, потому что он больше нравится руководству;
  • мы можем внедрить Б, потому что там нет этого элемента и на его место потом попробовать вставить что-то другое;
  • мы можем внедрить Б, потому что поведение на Б дает больше информации для аналитики;
  • мы можем внедрить Б, потому что это меняет поведение пользователя и пользователь дальше переходит на страницу “Х”, где очень большой потенциал для улучшения.

А что вы делаете с такими, не показательными, тестами? Кстати, что вы тестировали в последний раз и когда?

p.s. понравилась статья? сохрани ее у себя в социальных сетях!

Реальные кейсы роста продаж
и повышения конверсии!

Узнайте как другие увеличивают продажи на 10%, 30%, 50% или даже в 2 раза!

100% без спама!