Проанализировать результаты A/B-теста
Нейросеть сравнит результаты A/B-теста, рассчитает разницу между группами и объяснит, что означают полученные цифры. Вы узнаете, насколько обоснован вывод и каких сведений не хватает для решения по эксперименту.
Что указать в промпте
- Что проверяли в вариантах A и B
Расскажите, что оставили без изменений и что поменяли во втором варианте. Например, это могут быть разные заголовки одной страницы.
Пример: «A — прежний заголовок, B — новый заголовок»
- Сколько человек участвовало и что они сделали
Укажите количество участников в каждой группе и сколько из них совершили нужное действие, например оформили заказ.
Пример: «A: 1000 пользователей и 80 заказавших, B: 1000 пользователей и 90 заказавших»
- Как распределяли участников и оценивали результат
Напишите, как люди попадали в группы и по какому показателю вы сравнивали варианты. Если заранее выбрали способ статистической проверки, укажите и его.
Пример: «Случайное распределение пользователей, основная метрика — доля заказавших»
Что вы получите
- Таблица с показателями групп и расчетом разницы
- Вывод с ограничениями и следующим шагом
Вы увидите, насколько отличаются показатели двух вариантов и как получилась эта разница. Анализ поможет решить, достаточно ли оснований для выбора победителя или сначала нужно проверить условия эксперимента.
Как использовать результаты анализа A/B-теста
Получив анализ A/B-теста, сначала проверьте таблицу. Сравните число участников, количество заказов или других целевых действий и рассчитанные проценты с исходным отчетом. Затем прочитайте вывод. Если разница между вариантами есть, но для оценки ее надежности не хватает сведений, не спешите объявлять победителя. Уточните условия эксперимента и только после этого решайте, стоит ли внедрять изменение или продолжить проверку.
Выбирайте главный показатель A/B-теста исходя из задачи, которую хотите решить. Если проверяете, какой заголовок лучше привлекает покупателей, сравнивайте долю пользователей, оформивших заказ, а не только количество кликов. Такой подход особенно понятен для коммерческого контента, ведь 41% команд оценивают контент по продажам. До начала теста определите, какое действие будете считать заказом и как учтете пользователей, которые его совершили.
Как проанализировать результаты A/B-теста с помощью ИИ
Промпт для анализа результатов A/B-теста пригодится, когда вы сравниваете два варианта страницы, объявления или другого элемента и хотите разобраться в цифрах. ИИ рассчитает показатели групп, покажет разницу и объяснит, каких данных не хватает, чтобы сделать обоснованный вывод.
Допустим, вы проверяете два заголовка страницы магазина. Из 1000 посетителей с заголовком A заказ оформили 80 человек, а с заголовком B — 90. Конверсия выросла с 8% до 9%. Это разница в один процентный пункт, или относительный рост на 12,5%. Второе число выглядит внушительнее, хотя оба описывают одну и ту же разницу.
Однако по одним процентам нельзя решить, что новый заголовок действительно лучше. Нужно знать, как посетителей распределяли между вариантами, сколько длился тест и когда его остановили. Даже при одинаковом качестве заголовков результаты двух групп способны немного различаться случайно. Если вы несколько раз проверяли показатели и остановились на удачном числе, оценка надежности разницы тоже усложняется.
A/B-тесты пригодятся и для проверки форм, через которые посетители оставляют заявки. Интерес к таким экспериментам понятен, если посмотреть на статистику лидогенерации: более 91% маркетологов считают привлечение потенциальных клиентов одной из главных задач. Для сравнения двух форм заранее решите, что считать заявкой, например отправленную форму с контактами, и учитывайте это действие одинаково в обеих группах.
Пример сравнения конверсии двух вариантов страницы
| Показатель | Пример расчета |
|---|---|
| Вариант A — старый заголовок | 80 заказавших из 1000 пользователей — 8% |
| Вариант B — новый заголовок | 90 заказавших из 1000 пользователей — 9% |
| Разница между вариантами | 9% − 8% = 1 процентный пункт, или 12,5% относительно варианта A |
Когда разберетесь с результатами A/B-теста, вы сможете решить, какое изменение проверять дальше. Если понадобится сравнить другие показатели, найти расхождения в таблице или разобраться в собранных числах, загляните в библиотеку промптов для анализа данных. Там можно выбрать запрос под следующую задачу и использовать свои исходные сведения. Так не придется пытаться решить все аналитические задачи одним промптом.
Вопросы об анализе результатов A/B-теста
Как понять, какой вариант победил в A/B-тесте?
Начните со сравнения основной метрики, которую выбрали до эксперимента. Если новый заголовок дал 9% заказов против 8% у старого, наблюдаемая разница в его пользу составляет один процентный пункт. Но для выбора победителя нужно также оценить статистическую неопределенность и проверить условия проведения теста. Больший процент сам по себе еще не означает, что изменение стоит внедрять.
Как ИИ проводит анализ результатов A/B-теста на статистическую значимость?
Нейросети нужны результаты обеих групп, определение метрики и сведения о проведении эксперимента. Если заранее выбран метод статистической проверки и выполнены его условия, ИИ рассчитает соответствующие показатели и объяснит их значение. Без необходимых сведений нейросеть должна ограничиться доступными расчетами, а не объявлять победителя. Анализ результатов A/B-теста полезен именно тогда, когда наблюдаемую разницу не путают с доказанным эффектом.
Как заполнить промпт для анализа A/B-теста, если известны не все условия?
Заполните те поля, по которым у вас есть сведения. Для расчета конверсии важнее всего указать количество участников и целевых действий в обеих группах. Если не знаете метод проверки или причину остановки эксперимента, оставьте соответствующие сведения незаполненными. Нейросеть выполнит доступные расчеты и объяснит, какие выводы пока делать нельзя.
Почему разница конверсии в A/B-тесте не всегда означает улучшение?
Показатели групп немного различаются даже без реального эффекта от изменения. Представьте, что одну и ту же страницу случайно показали двум группам посетителей. В одной заказов оказалось чуть больше просто из-за случайных колебаний. Поэтому важно учитывать число участников и статистическую неопределенность. Разница в один процентный пункт при небольшом числе наблюдений и при большом числе наблюдений требует разной оценки.
Что делать, если ИИ не может уверенно оценить результаты A/B-теста?
Посмотрите, какие сведения нейросеть назвала недостающими. Если неизвестно, как участников делили на группы, найдите описание настройки эксперимента. Если не указан метод статистической проверки, уточните у аналитика, какой подход соответствует исходному плану и условиям теста. Не пытайтесь подобрать способ расчета, который даст желаемую значимость. До уточнения условий используйте наблюдаемую разницу как предварительный результат.
