Все формулы РФ

Аналитика / A/B-тесты

Доверительный интервал разницы конверсий

Доверительный интервал разницы конверсий: формула (\hat p_B-\hat p_A)\pm z_{1-\alpha/2}\cdot SE_{\Delta} помогает посчитать метрику или статистическую проверку по данным эксперимента. В тексте есть условия, пример, ошибки и проверка результата.

Опубликовано: Обновлено:

АналитикаA/B-тестыЕсть историческая справкаАнализ данных

Формула

$$(\hat p_B-\hat p_A)\pm z_{1-\alpha/2}\cdot SE_{\Delta}$$
Диаграмма Интервал разницы конверсий

Линия от нижней до верхней границы с отмеченной 0 и фактической точкой \Delta.

Наглядно видно, пересекает ли ноль нулевую гипотезу.

Обозначения

$\hat p_A, \hat p_B$
оценки конверсии в группах A и B, доля
$SE_{\Delta}$
SE разности двух долей, доля
$z_{1-\alpha/2}$
критическое значение нормального распределения для уровня \alpha, безразмерная
$\alpha$
уровень ошибки первого рода, доля

Условия применения

  • Используйте нормальное приближение.
  • Значения для расчета согласованы по смыслу: \hat p_A, \hat p_B — оценки конверсии в группах A и B (доля); SE_{\Delta} — SE разности двух долей (доля).
  • Единицы, период наблюдения, лист таблицы или расчетная схема выбраны до подстановки.

Ограничения

  • Формула относится к области A/B-тестов и продуктовой статистики и не заменяет выбор модели.
  • Если данные взяты из разных источников или периодов, результат нельзя сравнивать напрямую.
  • Округление промежуточных строк допустимо только после проверки единиц и масштаба.

Подробное объяснение

Смысл страницы «Доверительный интервал разницы конверсий» — посчитать метрику или статистическую проверку по данным эксперимента. Формула (\hat p_B-\hat p_A)\pm z_{1-\alpha/2}\cdot SE_{\Delta} нужна не сама по себе, а как короткая модель из области A/B-тестов и продуктовой статистики. Перед вычислением проверяют условие: Используйте нормальное приближение. Обозначения читают до арифметики: \hat p_A, \hat p_B — оценки конверсии в группах A и B (доля); SE_{\Delta} — SE разности двух долей (доля); z_{1-\alpha/2} — критическое значение нормального распределения для уровня \alpha (безразмерная); \alpha — уровень ошибки первого рода (доля). Похожую величину с другой базой не берут автоматически. Такой шаг особенно важен в материалах, где рядом стоят близкие формулы. Рабочая ситуация: в отчете по рассылке фиксируют отправленные сообщения, открытия и покупки за один и тот же период, не смешивая повторные события. Достаточно одной подстановки и проверки. База сравнения здесь важнее красивого числа: если в одной группе считать пользователей, а в другой сессии, результат уже нельзя интерпретировать как эффект эксперимента; для этой записи отдельно сверяют \hat p_A, \hat p_B — оценки конверсии в группах A и B (доля). После получения результата его сверяют с ограничениями. Знак, единица и порядок величины должны соответствовать исходной модели. Если проверка не проходит, исправляют не финальную строку, а выбор данных.

Как пользоваться формулой

  1. Сформулируйте, что именно нужно найти, и выберите запись (\hat p_B-\hat p_A)\pm z_{1-\alpha/2}\cdot SE_{\Delta}.
  2. Выпишите исходные величины: \hat p_A, \hat p_B — оценки конверсии в группах A и B (доля); SE_{\Delta} — SE разности двух долей (доля); z_{1-\alpha/2} — критическое значение нормального распределения для уровня \alpha (безразмерная).
  3. Проверьте единицы, период, диапазон таблицы или геометрическую схему.
  4. Подставьте значения без раннего округления.
  5. Сверьте знак, масштаб и поведение результата при изменении главного параметра.

Историческая справка

История записи «Доверительный интервал разницы конверсий» связана с практикой A/B-тестов и продуктовой статистики. Такие формулы закреплялись потому, что помогали посчитать метрику или статистическую проверку по данным эксперимента. В учебниках и справочниках постепенно стабилизировались обозначения: \hat p_A, \hat p_B — оценки конверсии в группах A и B (доля); SE_{\Delta} — SE разности двух долей (доля). Современная форма (\hat p_B-\hat p_A)\pm z_{1-\alpha/2}\cdot SE_{\Delta} ценна тем, что дает короткий путь от условия к проверяемому результату. Для этой страницы историческая справка полезна еще и как защита от неверной аналогии: Используйте нормальное приближение. В разных источниках могут меняться буквы, порядок записи и единицы, но расчетная потребность остается прежней: сначала выбрать модель, затем проверить данные и только потом считать. Исторический блок здесь нужен не для украшения, а для понимания модели и ее границ.

Историческая линия формулы

У записи «Доверительный интервал разницы конверсий» нет одного бытового автора. Контекст — развитие A/B-тестов и продуктовой статистики. Также важны учебные курсы и рабочие методики. Формула (\hat p_B-\hat p_A)\pm z_{1-\alpha/2}\cdot SE_{\Delta} здесь дана как современная расчетная запись. Имена из источников уточняют историю метода, но не заменяют условия применения.

Пример

Пример: в тесте новой формы регистрации считают только уникальных пользователей: 320 успехов из 4 000 в контроле и 369 из 4 100 в варианте. Цель для «Доверительный интервал разницы конверсий» — посчитать метрику или статистическую проверку по данным эксперимента. Перед подстановкой выбирают одну строку, один объект или один период. Рабочие величины: \hat p_A, \hat p_B — оценки конверсии в группах A и B (доля); SE_{\Delta} — SE разности двух долей (доля); z_{1-\alpha/2} — критическое значение нормального распределения для уровня \alpha (безразмерная). Дальше данные подставляют в (\hat p_B-\hat p_A)\pm z_{1-\alpha/2}\cdot SE_{\Delta} без смены модели по ходу решения. База сравнения здесь важнее красивого числа: если в одной группе считать пользователей, а в другой сессии, результат уже нельзя интерпретировать как эффект эксперимента; для этой записи отдельно сверяют \hat p_A, \hat p_B — оценки конверсии в группах A и B (доля). В конце меняют один ключевой параметр мысленно. Направление изменения должно совпасть со смыслом задачи.

Частая ошибка

Формула (\hat p_B-\hat p_A)\pm z_{1-\alpha/2}\cdot SE_{\Delta} не спасает, если исходная модель выбрана неверно. Сверьте обозначения: \hat p_A, \hat p_B — оценки конверсии в группах A и B (доля); SE_{\Delta} — SE разности двух долей (доля); z_{1-\alpha/2} — критическое значение нормального распределения для уровня \alpha (безразмерная). Нельзя менять метрику после просмотра результата, смешивать пользователей и сессии, включать повторные конверсии без правила дедупликации и сравнивать группы с разным окном наблюдения. Если ответ выглядит правдоподобно, проверьте его источник. Порядок простой: символ, значение, единица, источник, подстановка, округление.

Практика

Задачи с решением

Проверить исходные данные

Условие. Для «Доверительный интервал разницы конверсий» заданы величины из условия. Нужно посчитать метрику или статистическую проверку по данным эксперимента.

Решение. Составляем таблицу символов, значений, единиц и источников. Убираем данные, которые относятся к другой модели.

Ответ. К расчету оставлены только согласованные исходные величины.

Выполнить подстановку

Условие. Данные согласованы, требуется применить (\hat p_B-\hat p_A)\pm z_{1-\alpha/2}\cdot SE_{\Delta}.

Решение. Подставляем значения, сохраняем промежуточную точность и отдельно проверяем единицу результата.

Ответ. Ответ принимается только после проверки знака, масштаба и смысла.

Дополнительные источники

  • OpenIntro Statistics, confidence intervals for proportions
  • NIST/SEMATECH e-Handbook of Statistical Methods, difference of proportions
  • Kohavi, Tang, Xu. Trustworthy Online Controlled Experiments, Cambridge University Press, 2020
  • Ron Kohavi et al. Online Controlled Experiments at Large Scale, KDD 2013
  • NIST/SEMATECH e-Handbook of Statistical Methods: proportions and confidence intervals

Связанные формулы

Аналитика

Z-статистика для двух долей

$z = \frac{\hat p_B-\hat p_A}{SE_{\Delta}}$

Z-статистика для двух долей: формула z = \frac{\hat p_B-\hat p_A}{SE_{\Delta}} помогает посчитать метрику или статистическую проверку по данным эксперимента. В тексте есть условия, пример, ошибки и проверка результата.

Аналитика

Мощность теста (power) для разности долей — концепт

$\text{Power} \approx 1-\Phi\left(z_{1-\alpha/2}-\frac{|\Delta|}{SE_{\Delta}}\right),\;\beta\approx\Phi\left(z_{1-\alpha/2}-\frac{|\Delta|}{SE_{\Delta}}\right)$

Мощность теста (power) для разности долей — концепт: формула \text{Power} \approx 1-\Phi\left(z_{1-\alpha/2}-\frac{|\Delta|}{SE_{\Delta}}\right),\;\beta\approx\Phi\left(z_{1-\alpha/2}-\frac{|\Delta|}{SE_{\Delta}}\right) помогает посчитать метрику или статистическую проверку по данным эксперимента. В тексте есть ус...

Аналитика

Минимальный размер выборки для двух долей (базовый)

$n \approx \frac{(z_{1-\alpha/2}+z_{1-\beta})^2\left[p_A(1-p_A)+p_B(1-p_B)\right]}{MDE^2},\; n_A=n_B=n$

Минимальный размер выборки для двух долей (базовый): формула n \approx \frac{(z_{1-\alpha/2}+z_{1-\beta})^2\left[p_A(1-p_A)+p_B(1-p_B)\right]}{MDE^2},\; n_A=n_B=n помогает посчитать метрику или статистическую проверку по данным эксперимента. В тексте есть условия, пример, ошибки и проверка результата.