A/B тестирование: чем полезно для маркетинга и как провести исследование без ошибок
Даже если сайт и реклама работают неплохо, всегда хочется получить больше. А когда результаты не оправдывают ожиданий, изменения тем более необходимы. Но перед радикальными обновлениями нужно убедиться, что они действительно принесут пользу, а не ухудшат ситуацию. Как же это проверить? Поможет популярный в маркетинге метод — A/B тестирование. Вы одновременно сравните, например, две версии контента, дизайна сайта, рекламного объявления и выберете лучшее решение для вашего бизнеса. В статье опишем методику A/B тестирования, рассмотрим распространённые ошибки в его проведении, предложим эффективные инструменты.
Зачем нужны A/B тестирования в маркетинге
Проведение A/B-тестирования — необходимый шаг перед любыми изменениями на сайте. Кроме того, метод поможет найти новые идеи. Вы увидите, чего хотят ваши пользователи, что им нравится, и сможете предложить им улучшения. А значит, у вас будет больше заинтересованных посетителей и покупателей.
Рассмотрим подробнее эффективность A/B тестирования в маркетинге. По его итогам вы сможете:
A/B тестирование, сравнение разных вариантов, — необходимый этап настройки рекламных кампаний. Никто не может предсказать, что понравится потенциальным клиентам вашего бизнеса, поэтому важно быть готовым сравнивать разные варианты и искать лучший. В этом поможет Точка Реклама. Получите аудит страницы и проводите тестирование успешнее!
Рассмотрим подробнее эффективность A/B тестирования в маркетинге. По его итогам вы сможете:
- сделать сайт удобнее для пользователей. Меняйте дизайн, обновляйте контент, улучшайте юзабилити и следите за тем, как это воспринимают пользователи;
- сделать объявления привлекательнее. Пробуйте разные заголовки, тексты, иллюстрации, настройки и узнавайте, что лучше привлекает клиентов. Сравнивайте разные метрики, например CPC (стоимость кликов), CTR (доли кликов от просмотров объявлений), стоимость каждого привлечённого потенциального клиента и реального заказчика;
- найти возможности и снизить риски. Сравнивайте разные варианты и определяйте, что работает лучше. Протестируйте идею на небольшом количестве посетителей и оцените, стоит ли запускать её на всю аудиторию. Также A/B тестирование поможет вовремя уйти от неудачной модели.
A/B тестирование, сравнение разных вариантов, — необходимый этап настройки рекламных кампаний. Никто не может предсказать, что понравится потенциальным клиентам вашего бизнеса, поэтому важно быть готовым сравнивать разные варианты и искать лучший. В этом поможет Точка Реклама. Получите аудит страницы и проводите тестирование успешнее!
Анализируем страницы бизнеса
Проверим ваш сайт, группу ВКонтакте, магазин на маркетплейсе или Авито по 12+ параметрам. Подскажем, как улучшить страницы, чтобы продвигаться успешнее и продавать больше.
Методика A/B тестирования: этапы проведения исследования
A/B тестирование предполагает одновременное сравнение двух вариантов. Одной группе пользователей предлагается вариант A, другой — B. Если альтернатив больше, это такое же сплит-тестирование, но в формате A/B/n.
Нельзя просто взять и поменять сайт и посмотреть, что получилось. Есть риск сделать неправильные выводы и потерять деньги. Также не стоит запускать сначала один вариант, потом второй и сравнивать результаты. Велик риск получить неверные данные. Конечно, это касается в первую очередь сезонных бизнесов, а также периодов перед какими-то праздниками, когда люди активно ищут подарки. Но даже если спрос на ваш товар стабильный, важно сравнивать версии в один период, чтобы не вмешались посторонние факторы. Например, если первый этап идёт в «обычное» время, а второй — после какой-то глобальной тревожной новости, поведение пользователей окажется очень разным, без всякой связи с проверяемой гипотезой.
Кроме того, важно правильно выбрать аудиторию и верно оценить результаты. Ниже подробно опишем метод A/B тестирования и покажем, как избежать ошибок на каждом этапе.
Нельзя просто взять и поменять сайт и посмотреть, что получилось. Есть риск сделать неправильные выводы и потерять деньги. Также не стоит запускать сначала один вариант, потом второй и сравнивать результаты. Велик риск получить неверные данные. Конечно, это касается в первую очередь сезонных бизнесов, а также периодов перед какими-то праздниками, когда люди активно ищут подарки. Но даже если спрос на ваш товар стабильный, важно сравнивать версии в один период, чтобы не вмешались посторонние факторы. Например, если первый этап идёт в «обычное» время, а второй — после какой-то глобальной тревожной новости, поведение пользователей окажется очень разным, без всякой связи с проверяемой гипотезой.
Кроме того, важно правильно выбрать аудиторию и верно оценить результаты. Ниже подробно опишем метод A/B тестирования и покажем, как избежать ошибок на каждом этапе.
Выбор гипотезы для проведения A/B тестирования
Перед началом тестирования сформулируйте гипотезу — предположение, которое вы хотите проверить. Идеи можно получить, например, в общении с клиентами, наблюдении за их поведением на сайте, анализе конкурентов.
Гипотеза для проведения A/B тестирования может быть нулевой или альтернативной. В нулевой мы предполагаем, что обновления элементов на сайте или в объявлении не принесут существенных улучшений или ухудшений в метриках. В альтернативных гипотезах, наоборот, ожидается, что изменения будут. Гипотеза формулируется в виде «Если сделать X, то…». Например, «Если мы изменим описание нашей услуги, конверсия (превращение посетителей в покупателей) вырастет на 10%». Гипотеза может оправдаться или нет.
За один раз можно проверить только одну гипотезу, иначе смешается множество факторов и вы не сделаете правильный вывод. Предположим, вы считаете, что на лендинге нужно заменить текст, сделать дизайн более ярким и по-другому расположить кнопки. Каждое из обновлений вносит свой вклад. Например, может оказаться, что новый текст более привлекателен для пользователей, слишком яркая палитра раздражает некоторых из них, а расположение кнопок ни на что особо не влияет. В таком случае лучшей комбинацией будет новый текст + старый дизайн. Но если вы не проверите каждую вашу идею отдельно, вы не сможете прийти к такому выводу. Поэтому, если вы хотите изменить несколько элементов, тестируйте их по очереди.
С объявлениями аналогично: если вы замените и заголовок, и текст, и иллюстрации, и суть предложения, будет сложно отследить, что повлияло на результат.
Гипотеза для проведения A/B тестирования может быть нулевой или альтернативной. В нулевой мы предполагаем, что обновления элементов на сайте или в объявлении не принесут существенных улучшений или ухудшений в метриках. В альтернативных гипотезах, наоборот, ожидается, что изменения будут. Гипотеза формулируется в виде «Если сделать X, то…». Например, «Если мы изменим описание нашей услуги, конверсия (превращение посетителей в покупателей) вырастет на 10%». Гипотеза может оправдаться или нет.
За один раз можно проверить только одну гипотезу, иначе смешается множество факторов и вы не сделаете правильный вывод. Предположим, вы считаете, что на лендинге нужно заменить текст, сделать дизайн более ярким и по-другому расположить кнопки. Каждое из обновлений вносит свой вклад. Например, может оказаться, что новый текст более привлекателен для пользователей, слишком яркая палитра раздражает некоторых из них, а расположение кнопок ни на что особо не влияет. В таком случае лучшей комбинацией будет новый текст + старый дизайн. Но если вы не проверите каждую вашу идею отдельно, вы не сможете прийти к такому выводу. Поэтому, если вы хотите изменить несколько элементов, тестируйте их по очереди.
С объявлениями аналогично: если вы замените и заголовок, и текст, и иллюстрации, и суть предложения, будет сложно отследить, что повлияло на результат.
Выбор маркетинговых метрик для проведения A/B тестирования
Можно отслеживать одну или несколько метрик. Часто стоит следить за множеством показателей. Например, если дать яркие обещания в рекламном объявлении, по нему будут часто кликать, но не найдя на сайте желаемого, пользователи разочаруются и уйдут. То есть важный показатель CTR (click through rate, доля кликов среди просмотров) вырастет, а конверсия — упадёт, количество заказчиков среди посетителей станет меньше.
Выбор аудитории для тестирования
Можно разделить всех посетителей сайта на две половины, и первой показывать вариант A, а второй — B. Есть и альтернативы: например, можно провести тест на 20% аудитории, а затем сравнить конверсии в группах.
Но в любом случае выборка должна быть репрезентативной. Проще говоря, вам нужно достаточно людей в каждой группе. А каждая группа должна быть маленькой копией всей вашей аудитории.
Предположим, среди ваших покупателей 20% мужчин и 80% женщин. Распределение по возрастам тоже неоднородное. Значит, в каждой группе должно быть такое же соотношение. Иначе результаты будут отражать предпочтения лишь части пользователей, а не всей аудитории. Тогда при запуске новой версии на всех посетителей результат получится не таким, как вы ожидали.
Как мы сказали выше, для качественных результатов A/B тестирования вам нужно определённое количество пользователей. Поэтому нужно понять, за какое время вы получите столько трафика. В этом помогут калькуляторы для A/B тестов, которые мы рассмотрим ниже. В большинстве же случаев оптимально проводить исследование в течение 10−14 дней.
Но в любом случае выборка должна быть репрезентативной. Проще говоря, вам нужно достаточно людей в каждой группе. А каждая группа должна быть маленькой копией всей вашей аудитории.
Предположим, среди ваших покупателей 20% мужчин и 80% женщин. Распределение по возрастам тоже неоднородное. Значит, в каждой группе должно быть такое же соотношение. Иначе результаты будут отражать предпочтения лишь части пользователей, а не всей аудитории. Тогда при запуске новой версии на всех посетителей результат получится не таким, как вы ожидали.
Как мы сказали выше, для качественных результатов A/B тестирования вам нужно определённое количество пользователей. Поэтому нужно понять, за какое время вы получите столько трафика. В этом помогут калькуляторы для A/B тестов, которые мы рассмотрим ниже. В большинстве же случаев оптимально проводить исследование в течение 10−14 дней.
Проведение A/B тестирования
Подытожим основные принципы качественного проведения A/B тестирования:
Провести A/B тестирование в рекламе относительно просто: вы создаёте разные объявления в рекламном кабинете. Работать с сайтом чуть сложнее — потребуются специальные сервисы. О них мы расскажем в отдельном разделе.
- за один раз проверяем одну гипотезу (касающуюся одного элемента);
- все варианты, касающиеся одной гипотезы, тестируются одновременно;
- необходима репрезентативная выборка — вы должны быть уверены, что полученный результат не случаен.
Провести A/B тестирование в рекламе относительно просто: вы создаёте разные объявления в рекламном кабинете. Работать с сайтом чуть сложнее — потребуются специальные сервисы. О них мы расскажем в отдельном разделе.
Анализ результатов A/B тестирования
Казалось бы, всё просто: если вариант B показал хотя бы чуть более высокие результаты, чем A, значит, он лучше. Но всё немного сложнее: даже если вы не допустили ошибок, о которых мы писали выше, всегда остаётся место для случайности. Например, если у вас 1000 пользователей в каждой группе, и в одной на кнопку нажали 50 человек, а в другой — 55, это слишком маленькая разница, чтобы делать выводы. Поэтому важна статистическая значимость результата. Как её определить, расскажем ниже.
Анализируем страницы бизнеса
Проверим ваш сайт, группу ВКонтакте, магазин на маркетплейсе или Авито по 12+ параметрам. Подскажем, как улучшить страницы, чтобы продвигаться успешнее и продавать больше.
Бесплатные калькуляторы для проведения A/B тестирования
Как мы показали выше, для качественного проведения A/B тестирования необходимо:
Сколько пользователей нужно в вашем случае и какой результат можно считать статистически значимым? Ответить на этот вопрос помогут калькуляторы для A/B тестирования — найти их можно по соответствующему запросу в поиске.
Для расчёта длительности теста и количества пользователей нужно определить:
Рассмотрим пример — калькулятор AB Tasty
Предположим, конверсия на нашем сайте составляет 1%.
Minimal detectable effect — это минимальное изменение, которое мы хотим отследить. Здесь, например, нам нужно увидеть рост или спад на 15% — то есть до 1,15% и выше или до 0,85% и ниже. Изменение, например, на 0,1% мы не увидим.
Нас устраивает статистическая значимость на уровне 95% — рекомендованный стандарт, то есть мы уверенно исключаем случайности.
Если задать такие параметры, калькулятор покажет, что нам нужно 70 589 посетителей на каждую версию.
- достаточное количество аудитории;
- достаточное время;
- статистически значимый результат.
Сколько пользователей нужно в вашем случае и какой результат можно считать статистически значимым? Ответить на этот вопрос помогут калькуляторы для A/B тестирования — найти их можно по соответствующему запросу в поиске.
Для расчёта длительности теста и количества пользователей нужно определить:
- количество визитов на сайт/просмотров страницы и т. д.;
- текущую конверсию — какая доля пользователей оформляет заказ, оставляет свои контакты и. т. д.;
- какое изменение в абсолютных и относительных показателях вы хотите отследить.
Рассмотрим пример — калькулятор AB Tasty
Предположим, конверсия на нашем сайте составляет 1%.
Minimal detectable effect — это минимальное изменение, которое мы хотим отследить. Здесь, например, нам нужно увидеть рост или спад на 15% — то есть до 1,15% и выше или до 0,85% и ниже. Изменение, например, на 0,1% мы не увидим.
Нас устраивает статистическая значимость на уровне 95% — рекомендованный стандарт, то есть мы уверенно исключаем случайности.
Если задать такие параметры, калькулятор покажет, что нам нужно 70 589 посетителей на каждую версию.
Калькулятор ABTasty показывает, какой срок и сколько пользователей нужно для достоверного результата A/B тестирования
Если мы проводим A/B тест, а не A/B/n, где сравниваются три и более версии, и у нас 15 000 посетителей в день, то исследование нужно вести в течение 9 дней.
Также калькуляторы помогут определить статистическую значимость результатов, о которой мы говорили выше. Например, такую задачу решает калькулятор на vwo.com. Предположим, у нас было по 1000 пользователей в каждой группе и в одной на кнопку нажали 100 человек, а в другой — 45. Это достаточно большая разница, и результат можно считать статистически значимым. P-value — вероятность случайности — нулевая. Если вы не нарушили методику A/B тестирования, значит, второй вариант действительно обеспечивает лучшую конверсию.
Также калькуляторы помогут определить статистическую значимость результатов, о которой мы говорили выше. Например, такую задачу решает калькулятор на vwo.com. Предположим, у нас было по 1000 пользователей в каждой группе и в одной на кнопку нажали 100 человек, а в другой — 45. Это достаточно большая разница, и результат можно считать статистически значимым. P-value — вероятность случайности — нулевая. Если вы не нарушили методику A/B тестирования, значит, второй вариант действительно обеспечивает лучшую конверсию.
Калькулятор статистической значимости A/B теста VMO
Инструменты для A/B тестирования на сайте
Как мы показали выше, для получения корректных результатов нельзя просто внести изменения на сайт и посмотреть, что получилось. Соблюсти методику A/B тестирования помогут специальные сервисы — например, «Эксперименты», встроенные в Яндекс. Метрику, уже упомянутые AB Tasty и VMO (но они больше подходят для крупных проектов), Optimizely и другие.
Инструменты дают следующие возможности:
- создать версии лендинга в визуальном редакторе — то есть вы сможете поменять контент, дизайн, кнопки и любые другие детали без знаний программирования, чтобы создать альтернативную версию для тестирования;
- установить параметры аудитории для эксперимента — например, в нём могут участвовать все посетители или небольшая группа. Некоторые инструменты допускают очень точные настройки для создания максимально репрезентативной выборки;
- установить метрики, которые будете отслеживать — можно анализировать непосредственно конверсии и множество дополнительных параметров, которые помогут лучше понять пользователей.
Например, вот так выглядит отчёт в «Экспериментах», встроенных в Яндекс.Метрику. В отчёте отображаются изменения в абсолютных и относительных показателях (дельта), а также minimal detectable effect и P-Value, о которых мы рассказали выше.
Чтобы воспользоваться инструментами для проведения A/B тестирования, нужно разместить на проверяемой странице код сервиса.
Результаты эксперимента: вторая кнопка работает намного лучше, вероятность случайности исключена
A/B тестирование в рекламе
И в Яндекс Директе, и в VK Рекламе есть группы объявлений, позволяющие сравнить, как аудитория воспринимает разные варианты объявления. У креативов в группе единые настройки, но можно экспериментировать, например, с иллюстрациями, призывами к действию, упоминаниями конкретных товаров или спецпредложений. Также можно настроить разные посадочные страницы.
В VK Рекламе разные объявления показываются с одной частотой, а затем, когда набирается равное количество просмотров, вы видите статистику по каждому и можете выбрать наиболее эффективное для вашего бизнеса. Также алгоритмы могут чаще показывать более успешный вариант, если вы выберете соответствующие настройки при создании кампании.
Яндекс Директ автоматически выбирает лучший креатив и начинает показывать его чаще.
Зарегистрировавшись в сервисе Точка Реклама вы получите аудиты ваших страниц — сайта, карточек на Wildberries, объявлений на Авито.
В VK Рекламе разные объявления показываются с одной частотой, а затем, когда набирается равное количество просмотров, вы видите статистику по каждому и можете выбрать наиболее эффективное для вашего бизнеса. Также алгоритмы могут чаще показывать более успешный вариант, если вы выберете соответствующие настройки при создании кампании.
Яндекс Директ автоматически выбирает лучший креатив и начинает показывать его чаще.
Зарегистрировавшись в сервисе Точка Реклама вы получите аудиты ваших страниц — сайта, карточек на Wildberries, объявлений на Авито.
Анализируем страницы бизнеса
Проверим ваш сайт, группу ВКонтакте, магазин на маркетплейсе или Авито по 12+ параметрам. Подскажем, как улучшить страницы, чтобы продвигаться успешнее и продавать больше.
Ещё интересные статьи