А/В тестирование. 11 ошибок, которые постоянно делает бизнес

Ошибки сплит тестирования

Сплит тестирование (А/В тестирование) это такой процесс, в результате которого базовый шаблон имеет шанс превратиться в настоящий landing page. Но только имеет шанс.

Тестирование – это весело. И существует множество инструментов, которые помогают достичь максимального эффекта. Но, однако, миллионы компаний, проводя тестирование, делают эти 11 ошибок.

Ошибка 1. Раннее прекращение А/В тестирования

Статистическая значимость – это то, что говорит вам, что версия А лучше, чем версия В. Но при условии, если размер выборки достаточно большой. 50% статистической значимости соответствует обычному броску монеты. Если тест показывает 50%, то вам следует сменить профессию. Даже 75% не отличается хорошей статистической достоверностью. Любой опытный тестер будет удовлетворен, если вероятность победы вариации составит более 80%. А еще лучше, когда 90%. Однако, если вы проводите научный эксперимент, и вероятность события у вас получилась 90%, то не ждите, что вас объявят победителем. Давайте добираться до истины.

Ваша задача – выяснить правду.  Отложите в сторону ваше ЭГО. Достаточно по-человечески выглядит «привязка» к гипотезе, но это может повредить достоверности тестирования.

Одним из распространенных сценариев даже для опытных компаний является то, что они делают тесты один за другим в течение 12 месяцев, проводят множество испытаний, в конце концов объявляют победителя. Проходит год, а конверсия сайта та же, что и в начале. Что же произошло? Просто тестирование закончилось раньше, чем была достигнута вероятность 95%. Или слишком мал был размер выборки.

Вот, что говорит по этому поводу Optimizely:

optimizely говорит нам много интересного

Объемы трафика должны быть достаточны для проведения тестирования

Выборка из 100 посетителей в вариации явно не достаточна. Optimizely приводит множество примеров, когда тестирование заканчивалось слишком рано, не были использованы настройки, позволяющие изменить минимальный размер выборки, прежде чем объявлять победителя.

VMO («Визуальный оптимизатор веб-сайтов») утверждает, что по умолчанию в настройках тестирования предусматривается слишком низкий показатель выборки . Необходимо настраивать параметры тестирования.

визуальный оптимизатор сайтов рекомендует настроить параметры

Визуальный оптимизатор web сайтов рекомендует настраивать параметры тестирования

Многие считают, что VMO и Optimizely нагнетают обстановку, чтобы создать ажиотаж вокруг тестирования. Не думаю, что это правда. Действительно не стоит заканчивать тестирование слишком рано.

Вот, например, тест, который я провел раньше. И через два дня получил такие результаты:

результаты тестирования

Результаты тестирования

 

Тестируемый вариант получил вероятность неудачи — более 89%. Некоторые инструменты позволили бы сказать, что вероятность стремится к 100%, и клиент был  доволен и был готов завершить тестирование.  Но, поскольку процент выборки слишком мал (чуть больше 100 посещений), я не остановился. И вот, как выглядела выборка уже через 10 дней.

результаты 10 дней спустя

результаты 10 дней спустя

Тот вариант, который проигрывал, сегодня готов победить с 95%-ной уверенностью. Таким образом, можно сказать, что всегда дважды проверяйте данные тестирования. Худшее, что вы можете сделать – обрести уверенность в неточных данных. Из-за этого потеряете деньги, и, вполне возможно, несколько месяцев работы.

Насколько большой размер выборки нужен?

Вы не хотите делать выводы на основе небольшой выборки. 100 человек не дадут вам статистической достоверности. Если у вас большой трафик, то нужно, как минимум, 250 посещений.  Бывают случаи, когда тест можно прервать раньше, но для этого нужен высокий коэффициент конверсии и значительные различия в тестируемых вариантах.

Вот очень полезный инструмент для расчета размеров выборки — http://www.testsignificance.com

Что делать, если у меня 100 (или 250) переходов на вариант, но уверенность все же не достигает 95%?

Это означает, что между вариантами может не быть существенных различий. Проверьте результаты тестирования по сегментам, чтобы увидеть, в каком из сегментов было достигнуто приведенное количество переходов. В любом случае, нужно проанализировать предположение и провести новое тестирование.

Ошибка 2.  Тесты работают не полную неделю

Допустим,  у сайта высокий трафик. Вами достигнуто 98% уверенности, 250 переходов на вариацию  в течение трех дней. Это результат? Нет.

Мы должны исключить фактор сезонности и провести тестирование в течение полной недели. Если тестирование начато в понедельник, то и закончить его нужно в понедельник. Почему? Потому, что ваш коэффициент конверсии будет меняться, в зависимости от дня недели. Если вы не тестируете полную неделю, результаты будут искаженными. Вот пример:

Вот пример влиянния сезонности (проще разных дней недели) на результаты А/В тестинга

Вот пример

Что вы тут видите? В четверг получено больше денег, чем в субботу и воскресение. Т.е. коэффициент конверсии в четверг в 2 раза выше, чем в субботу.

Если тестирование будет проводиться неполную неделю, то результаты его будут неточными. Т.е. всегда тестирование должно проводиться минимум в течение 7 дней. Если уверенности нет, то тестирование следует запустить на следующие 7 дней. И т.д.

Единственный период времени, когда можно нарушить это правило, — это какие-то события. Но лучше тестирование проводить в течение недели даже в этом случае.

Обращайте внимание на внешние факторы. Наступает Рождество? Ваше тестирование не может быть эффективным в январе. Необходимо проводить тестирование и после окончания торгового сезона, который сопровождает Рождество.

Или, например, как раз выпущена новая рекламная компания на телевидении. Это также может исказить результат. Внешние факторы влияют на тестирование. Если у вас появляется сомнение, то лучше тестирование продолжить.

Ошибка 3. А/В тестирование выполняется тогда, когда нет трафика.

Предположим, у вас от 1 до 2 продаж в месяц. Ну, запустите вы тест, но как вы узнаете, что вариант В на 15% лучше, чем вариант А?

Я люблю А/В тестирование, но это совсем не то, что нужно использовать для оптимизации конверсии, если у вас маленький трафик. Причина в том, что даже, если версия В – значительно лучше, то потребуется несколько месяцев, чтобы получить статистическую значимость.
А если ваше тестирование продолжается 5 месяцев, то вы тратите много денег. Вместо этого вы должны пойти на радикальные изменения и просто переключиться на вариант В. Не тестировать, а просто переключиться и наблюдать за вашим  банковским счетом. Идея заключается в том, что, если вы собираетесь поднять конверсию на 50% или на 100%, то на изменение сразу отреагирует ваш банковский счет (или просто число посетителей на сайт). Время – деньги. Не тратьте времени на ожидание результата теста, который займет много месяцев.

Ошибка 4. Тестирование не основывается на гипотезе

Мне нравятся спагетти. Это спагетти можно тестировать на предмет, прилипнут они к стене или нет. Тестировать сайт, опираясь на случайные идеи в смысле просто посмотреть, как это будет работать, бессмысленно и дорого. Вы теряете драгоценное время и трафик.  Должна быть гипотеза.

Итак, что такое гипотеза? Это заявление, основанное конкретных данных, которые могут быть подтверждены или опровергнуты, и используются в качестве отправной точки для дальнейшего изучения.

Это не должна быть гипотеза, как в случае со спагетти, — случайное заявление. Вам необходимо составить последовательность тестирования. Сначала узнать, где лежит проблема. Затем сделать анализ, чтобы выяснить, каких проблем можно будет ожидать в дальнейшем. И составить гипотезу для преодоления проблем.

Если вы тестируете А и В без четкой гипотезы, и В, например, побеждает на 15%, это приятно, но какие выводы можно из этого сделать? Никакие. Разве что узнали лучше свою аудиторию. Это знание можно использовать впоследствии для того, чтобы создать новые тесты.

Ошибка 5. Тестовые данные не отправляются в Google Analytics

Есть вероятность ошибки. Всегда помните об этом. Если победа составляет 10%, то это нельзя назвать полной картиной. Необходимо сегментировать испытания. Optimizely предусматривает сегментирование результатов, но Google Analytics может сделать намного больше. Вам  нужно отправлять тестовые данные  в Google Analytics и сегментировать их. Если вы используете  Visual Website Optimizer, имеющий хорошие глобальные настройки тестов, то интеграция будет включаться автоматически при каждой настройке тестов. Установите ее, и забудьте о ней.

И забудьте о ней

И забудьте о ней. Так работают качественные сервисы, написанные качественно сделанными программистами по качественно написанным техническим заданиям

Optimizely заставляет вас страдать без причины и тратить больше времени. У него предусмотрено только включение интеграции для каждого теста в отдельности.

Интеграция с аналитиксом

Интеграция с аналитиксом происходит так

Разработчики должны знать, что люди – не роботы. Сделали бы глобальные настройки. А то получается, что они берут тестовую информацию для Google Analytics как пользовательскую переменную. Вы же можете запускать объемные пользовательские сегменты и отчеты по ним, и это очень полезно, и поможет вам актуализировать испытания А/В тестов (в том числе проблемных тестов).

Optimizely заставляет вас страдать бессмысленно

Optimizely заставляет вас страдать бессмысленно всякой нехорошестью. Вот и пользуйся после этого их сервисом

Но тот же Monetate, который считается классом выше сервисов статистики про которые я уже упомянул (поскольку стоит дороже), даже не в состоянии отправлять персонализированные отчеты. Я был удивлен когда узнал. Monetate может отправлять только тестовые данные, ни не как не события.

Monetate конечно хорошо, но не во всем, что касается А/В тестирования

Monetate

 

Таким образом, чтобы получить больше полезной информации необходимо создать дополнительные сегменты для каждого варианта и создать новые сегменты на основе отмеченных событий.

new segment based on the event label

Создаем новые сегменты для каждого варианта и тратим дополнительное время на свое сплит-тестирование

И вы можете проверить, что каждый сегментированный вариант был использован  без разделения по метрикам в GA:

And you can check whatever metrics in GA with a segment for each variation applied:

Ну вот смотрите, как выглядит описанное мною:

Вывод – всегда отправляйте тестовые данные в Google Analytics.

Ошибка 6. Драгоценное время и трафик тратятся на дурацкие вопросы.

Вы тестируете цвета? Стоп. Не бывает лучшего цвета, он всегда – в визуальной иерархии, которая имеется в Интернете. Не тратьте время и трафик на то, что можно определить и без тестирования. Используйте трафик для более серьезных вещей. Тестируйте обусловленные гипотезы.

Ошибка 7. Не сдавайтесь после первого неудачного тестирования.

Вы провели тест, но он не смог обеспечить роста. Ну, хорошо. Давайте попробуем протестировать другие страницы. Не так быстро! Я знаю, вам не терпится, но я – за повторное тестирование. Вы тестируете, изучаете результаты, улучшаете теорию или гипотезу. Запускаете следующие испытания, изучаете их, улучшаете гипотезы. И так далее.

Это – багаж знаний, основанный на 6 испытаниях (тестирования одной и той же страницы), необходимый для того, чтобы вы были удовлетворены результатом. Люди, которые утверждают бюджет тестирования (ваши клиенты или начальник), должны это предусмотреть. Если окажется, что первый тест не дал никаких результатов, и деньги потрачены впустую, то человека могут уволить. Не идите по этому пути. Просто запустите повторяющийся тест. И деньги вернутся.

Ошибка 8. Непонимание ложного срабатывания.

Недостаточно просто обращать внимание на статистическую значимость. Вам нужно понимать и ложные срабатывания. Нетерпеливые тестеры будут пропускать А/В тестирование и переходить к А/В/С/D/E/G тестированию.

Или зачем останавливаться на этом? Google протестировал 41 оттенок синего. Это, правда, не очень хорошая идея. Чем больше вариантов тестирования, тем выше вероятность ложных срабатываний. В случае с 41 оттенком синего даже при уровне доверия в 95%, вероятность ложных срабатываний составляет 88%.

Посмотрите это видео, и вы узнаете нечто интересное:

Вывод – не испытывайте одновременно слишком много вариантов. Лучше сделать простое А/В тестирование, и в любом случае, результаты вы получите быстрее.

Ошибка 9. Проведение одновременных тестов нескольких страниц

Запустив тестирование на коммерческом сайте, вы посчитали себя гением? Вы ищете способ эффективнее продавать и одновременно запустили несколько тестов – на странице продукции, странице корзины и домашней странице. Считаете, что вы сэкономили время? Нет. Будет искажение результатов. Если вы хотите протестировать несколько вариантов одновременно, то должны запустить multi-page эксперимент, предназначенный для этой цели. Таким образом, люди увидят либо новые версии для страниц, либо только старые.

Ошибка 10. Игнорирование незначительных выгод

Ваша обработка дала рост конверсии в 4%. Вы решаете, что это – слишком мало и даже не планируете ее реализовать. Вот, в чем дело. Если у вас хороший сайт, вы не планируете серьезных улучшений.  По факту, серьезного прироста и не получится. Если же ваш сайт – отстой, то легко можно запустить тесты, обеспечивающие рост в течение некоторого времени на 50%.  Но вскоре и это закончится.

Самый многообещающий тест даст небольшой прирост конверсии в 1%, 5%, 8%. Но иногда даже 1% может поднять сайт так, что вы получите миллион долларов дохода. Все зависит от того, с какими абсолютными цифрами вы имеете дело. Но главное, вы должны рассматривать и 12-ти месячную перспективу.

Одно испытание дает один тест. Сделайте много испытаний. Прирост конверсии 5% в месяц обеспечит в течение года прирост в 80%. Это уже интереснее. И 80% — это очень много.  Надо удерживать маленькие победы. Они в конце принесут хорошие результаты.

Ошибка 11. Нельзя тестировать все время

День без теста – бесполезен. Тестирование обучает. Пониманию вашей аудитории, тому, что работает, а что – нет. Это все можно использовать в ваших рекламных компаниях. Ведь вы не знали, что именно работает, пока не протестировали. На проведение тестов нужно время и трафик (в большом количестве). Если вы постоянно проводите тестирование, это не значит, что вы должны мириться с тестированием всякого мусора. Вы нуждаетесь в проведении исследовании весомых гипотез.

Тестируйте все время. Узнайте, как создать выигрышный план тестирования, и никогда не останавливайте оптимизацию.

Вывод

Сегодня существует множество замечательных инструментов, которые легко могут провести тестирование. Но они не смогут за вас думать. Я понимаю, что статистика не была любимым предметом в колледже, но найдите время, чтобы освежить знания. Проанализируйте эти 12 ошибок, постарайтесь их избежать, и тестирование позволит вам получить реальный прогресс.

Елена Гринько, перевод для alphaland.in

Автор Peep Laja  and his clever blog on internet marketing    We respect his!

 

alphaland.in

Сообщество online- маркетологов

alphaland.in написал 409 поста

Навигация по постам


Комментарии

  • Михаил Емельянов

    Чаще всего думаю у меня была ошибка номер 3, но и другие очень частое явление в этом направлении. Вообще не мог добиться трафика посещений на свой сайт и тратил деньги на компании. В итоге нечего не улучшилось, кампании просто не отвечали. Ошибка номер 10 тоже у меня частенько появлялась. Были предложения с небольшой выгодой, но я от них отказывался и тем самым терял прямые деньги.

  • Natalya9999

    Тестирование, это достаточно сложный процесс. И каждая из 11 ошибок имеет право быть. Спасибо, за доступное объяснение простым языком стало все понятно. Как я поняла, для получения правильных данных необходимо проводить тестирование длительное время, и брать большую аудиторию выборки. Тестирование проводить нужно каждый день, все полученные данные использую на практике.

Добавить комментарий

Войти с помощью: