Сколько сплит-тестов вы уже провели? Наверняка единицы стали успешны, а большинство либо проигрывает, либо “примерно равны”. Что вы делаете в случае, если тест ничего не показал?
Само понятие А/Б-тестирования намекает нам, что вариантов у нас всего три:
- Продолжать тест дальше.
- Оставить варинат А.
- Внедрить вариант Б.
Что из этого выбрать?
Тест необходимо держать до статически значимых результатов. Сервисы для сплит-тестов это определяют сами и говорят “вариант А победил с вероятностью 95%”. Но даже если один из вариантов победил в первый день, то тест все равно надо держать несколько дней. Почему так, я расскажу в следующей статье о А/Б тестировании.
Но сколько стоит держать запущенным тест, если результата нет?
Теоретически при накоплении данных погрешность уменьшается и какой-то вариант выиграет. На практике бывает очень по разному. Бывает ситуация, когда вчера выиграывал А, а сегодня Б. Значит суммарно они равны. И сколько не держи ничего особенно не изменится. Лично я предпочитаю держать тесты примерно 2 недели. И держать тест еще дальше для меня не вариант.
Основне аргумент за вариант А: “мы ничего не меняем, а значит хуже не сделаем”. Обычно это психологическая отмазка, основанная на страхе перемен и ответственности.
А вот список аргументов, которые можно использовать сознательно:
- мы можем внедрить Б, потому что он больше нравится руководству;
- мы можем внедрить Б, потому что там нет этого элемента и на его место потом попробовать вставить что-то другое;
- мы можем внедрить Б, потому что поведение на Б дает больше информации для аналитики;
- мы можем внедрить Б, потому что это меняет поведение пользователя и пользователь дальше переходит на страницу “Х”, где очень большой потенциал для улучшения.
А что вы делаете с такими, не показательными, тестами? Кстати, что вы тестировали в последний раз и когда?
p.s. понравилась статья? сохрани ее у себя в социальных сетях!