По шагам
1. Определение показателей (метрик), которые будут исследоваться
Например, Выручка, Кол-во чеков, Средний чек и т.д.
2. Определение того, как мы планируем влиять на эти показатели
То есть, что мы хотим изменить
3. Определение гипотез
Бизнес-гипотезы, как мы это себе представляем с точки зрения бизнеса (скорее всего увеличение выручки, среднего чека, кол-ва чеков)
4. Определение статистических гипотез
На уровне статистики, что мы хотим увидеть: чаще всего различия между 2-мя распределениями
6. Определение генеральной совокупности.
В нашем случае у нас есть исторические данные, но исходя из бизнес-гипотез, в эту генеральную совокупность попадают возможно не все POS (а только Москва или только какой-то площади и т.д.), то есть то кол-во и те POS, которые (при успешном пилоте) будут внедрять предполагаемую инновацию
7. Определение пилотной группы
Пилотная группа должна быть репрезентативна (насколько это возможно) генеральной совокупности, определенной на предыдущем шаге. То есть статистически распределение интересующих показателей в пилотной группе не должно различаться от распределения этих показателей в пилотной группе
8. Подбор контрольной группы
Тут есть несколько подходов: симуляции АА-тестов на исторических данных, векторизация и определение косинусного сходства, расстояние Махаланобиса и другие.
9. Дизайн собственно эксперимента
Определение кол-ва POS, требуемых для исследования (желательно от 30-и, так как при таком кол-ве свойства выборки схожи с свойствами ГС (но это тоже проверять надо). В нашем случае количество 30 в пилоте возможно не столь критично, так как мы знаем (на исторических данных) параметры распределения показателей в ГС
Определение дисперсии признаков в пилотной группе на исторических данных, определение MDE, определение размера выборки (в данном случае это будут чеки/клиенты), а через эти показатели – предполагаемая длительность эксперимента
9. Контроль за показателями в процессе эксперимента
В том числе и тех, которые напрямую не исследуются (например, дефектура, участие в акциях и т.д., все, что может повлиять на исследуемые показатели). Возможно даже исключать дни крупных акций (например, [], сильно влияет)
10. Измерение эффекта
Оценка эффекта, что получили в итоге. Можно попробовать использовать другие POS в качестве контрольной группы
Эта процедура позволит сделать статистически достоверные выводы о проведенном эксперименте.
Поделиться
