A/B Calculator checklist
Чеклист запуска A/B теста
Короткая проверка перед стартом эксперимента: помогает не запускать тесты без MDE, достаточной выборки, понятной primary metric и заранее согласованного правила остановки.
Перед запуском
- Гипотеза сформулирована как проверяемое изменение поведения пользователя.
- Есть одна primary metric и список guardrail-метрик.
- Baseline посчитан на свежих данных без аномальных периодов.
- MDE выбран как минимальный бизнес-значимый эффект, а не как желаемый красивый рост.
- Размер выборки и длительность рассчитаны до старта теста.
Дизайн эксперимента
- Аудитория и исключения описаны заранее.
- Трафик между группами распределён корректно.
- Тест длится не меньше 7 дней или риск сезонности явно принят.
- Нет пересечения пользователей между вариантами.
Правило решения
- Alpha, power и alternative hypothesis выбраны до запуска.
- Команда договорилась не останавливать тест по первому красивому p-value.
- Решение принимается по primary metric при здоровых guardrails.
- После теста фиксируются вывод, rollout и следующий эксперимент.