Бесплатный практический вебинар Исправляем 3 непростительных ошибки продающего сайта

Сплит-тест на маленьком трафике

question

Часто слышу жалобы на нехватку трафика для сплит-тестирований. Это проблема имеет место быть.

К счастью, у большинства она надумана. Успешные тесты можно проводить и на трафике 100-200 посетителей в сутки.

Как это можно сделать:

  • немного математики для понимания
  • отсекаем незадействованных посетителей
  • выбираем правильную метрику

Немного математики сплит-теста

Google говорит, что для завершения эксперимента с изменением конверсии с 4% до 5% необходимо 22330 посетителей. Это очень много.

Во-первых изменение конверсии с 4% до 5% — это рост на 25%! Вроде мало, а попробуйте так: “рост оборота на 25%!”. Уже не так мало.

Так вот рост конверсии (транзакции, покупки) на 25% встречается редко. Если удается поднять конверсию и продажи на 5-10% — это уже очень-очень сильно. Если интересно, посмотрите раздел о повышении конверсии.

Математика говорит, что чем меньше изменение конверсии (дельта), тем больше трафика надо для эксперимента.

Делаем очень просто вывод: чтобы уменьшить кол-во трафика, необходимо увеличить изменение конверсии (дельту).

Заранее не известно на сколько новый вариант увеличит конверсию и сколько понадобится трафика для завершения эксперимента. Ниже два способа, как мы можем на это повлиять.

Отсекаем незадействованный трафик

Суть в том, что не все посетители сайта должны попадать в тест. Например, тестируем карточку товара. Значит в тест должны попасть только люди посетившие карточку товара. Люди посетившие только главную страницу или витрину, не должны учитываться в тесте.

В цифрах это выглядит так. 100 человек зашло на сайт, 40 человек зашло на карточку товара, 1 человек совершил покупку.

Если считать от 100 посетителей, то одна покупка — это 1% конверсии. Если считать от 40 человек, посетивших карточку товара, то это уже 2.5% конверсии.

Вывод очень прост. Если вычеркнуть из эксперимента людей не посетивших нужную страницу, то % конверсии растет. Значит время на завершения теста снижается.

Очень часто такую ошибку допускают тестируя корзину и страницу оформления заказа.

Технически ошибка возникает из-за неправильного размещения кода системы тестирования.

Выбираем правильную метрику для сплит теста

Продолжим рассматривать наш пример. У нас уже 40 человек зашло на карточку товара и 1 человек совершил покупку. Конверсия 2.5%.

Надо понимать, что целевое действие на карточке товара не покупка. Обычно это добавление товара в корзину.

Основной метрикой для карточки товара должно выступать “добавление в корзину” (click на кнопке “купить / в корзину”). В зависимости от аналитики, целью эксперимента может быть:

  • увеличить кол-во кликов на “добавить в корзину”
  • заказ обратного звонка
  • снизить уходы на страницу “оплата и доставка”
  • снизить уходы на страницу “контакты”
  • снизить отказы и/или выходы
  • увеличить просмотр фото и/или видео
  • увеличить просмотр описания / характеристик / отзывов.
  • оставить комментарий / отзыв
  • и т.д.

Как видно, цели бывают очень разные. Не надо всегда ориентироваться на транзакции (продажи).

На нашем примере, если заменить целевое действие с покупки на добавление в корзину, то конверсия скорее всего будет 5%-7.5%. Это значит, что продолжительность эксперимента еще уменьшается.

А/Б тест на малом трафике

В подтверждение вот скриншот Google Content Experimetns. Это мои эксперименты. Они завершены и можно видеть сколько трафика понадобилось, чтобы они завершились.

Гугл эксперименты, сплит тест

Не откладывайте оптимизацию и тестирование на завтра. Мало трафика — это отговорки. Начинайте тестировать уже сегодня. В прошлой статье я рассказывал как запустить сплит-тест за 1 час.

Реальные кейсы роста продаж
и повышения конверсии!

Узнайте как другие увеличивают продажи на 10%, 30%, 50% или даже в 2 раза!

100% без спама!

  • Andrei Baklinau

    Отличная статья!

    P.S. Если собираетесь проводить A/B тестирование, то можете попробовать наш сервис [вырезано :) ]

    Он точно придётся по душе тем, кто постоянно использует Google Analytics

    • Андрей, а по делу кроме рекламы что-то есть?

      • Andrei Baklinau

        Если по делу, то я согласен с вами, что эксперименты можно успешно проводить на маленьком трафике. Сами это тестировали и всё прекрасно получалось. 2-3 недели и победитель определён.

        «Очень часто такую ошибку допускают тестируя корзину и страницу оформления заказа.
        Технически ошибка возникает из-за неправильного размещения кода системы тестирования.» — очень грамотный совет. Т.к. реально такая проблема существует. Проверено на себе, так сказать. Клиенты нашего сервиса не всегда сами могут правильно настроить A/B эксперимент, а из-за этого снижается эффективность всего процесса.

      • Andrei Baklinau

        Сергей, интересно узнать, как давно Вы занимаетесь оптимизацией конверсии и конкретно A/B тестированием?

        • Конверсией занимаюсь много лет, наверное как начал сайтами увлекаться, так и потихоньку появилось понимание конверсии в целевое действие… Сплит тест первый запустил не так давно, в 2011, но с тех пор запустил их пару сотен. Разного рода, вида, успешные, провальные и никакие :))).

          • Andrei Baklinau

            Судя по всему, опыт очень большой!) Это круто!

        • https://www.youtube.com/watch?v=YyfOJD1—No — вот здесь постарался уместить свой опыт в 20 минут. Глупая затея: не всё уместилось и рассказ спешный :(.

        • Андрей, расскажите лучше о Вашем сервисе более подробно. А то как-то сразу с рекламы начинать не хорошо, а и просто ставить ссылку — бесполезно для читателей.

          • Andrei Baklinau

            Кратко напишу здесь:
            Changeagain.me — сервис для A/B тестирования с полной и автоматической интеграцией с Google Analytics.
            Что хорошего в нашем сервисе:
            — интеграция
            — простой визуальный редактор (не нужны навыки программирования соответственно)
            — совершенно иная ценовая модель, где нужно платить только за количество сайтов и экспериментов, а не за показы эксперимента.
            — таргетинг по странам и устройствам
            — A/B и сплит-тестирование

            — очень интуитивно понятный интерфейс ничем не загруженный. Эксперимент создаётся за пару минут, если всё продумано заранее.

            В течение нескольких недель будут добавлены возможность создать до 10 тестовых версий в рамках одного A/B эксперимента, а потом займёмся таргетингом по кукам, новым/вернувшимся пользователям, по utm-меткам, браузерам.

            Это если кратко) А с Вами, Сергей, мы можем более подробно пообщаться, но уже лично)
            Добавьте меня, пожалуйста — https://www.facebook.com/andreibaklinau