Как рассчитать статистическую значимость (и ее важность)

Если вы пытаетесь определить эффективность чего-либо, рассмотрите расчет статистической значимости. Хотя этот показатель известен тем, что его изучают в курсах статистики, он может использоваться в различных отраслях, включая бизнес.

В этой статье мы дадим определение статистической значимости, ее важности и расскажем, как рассчитать ее вручную.

Что такое статистическая значимость?

Статистическая значимость - это вероятность того, что связь между двумя или более переменными не является результатом случайного стечения обстоятельств. По сути, это способ доказать надежность определенной статистики. Два его основных компонента - размер выборки и размер эффекта. При использовании статистической проверки гипотез результат набора данных может считаться статистически значимым, если вы достигли определенного уровня уверенности в этом результате. При проверке статистических гипотез это означает, что гипотеза вряд ли имела место при нулевой гипотезе. Согласно нулевой гипотезе, между рассматриваемыми переменными нет связи.

Почему важна статистическая значимость?

Применительно к бизнесу статистическая значимость важна, поскольку она помогает понять, что внедренные вами изменения можно положительно отнести к различным метрикам. Например, если вы недавно внедрили новое приложение, помогающее вашему офису работать более эффективно, статистическая значимость даст вам уверенность в том, что оно оказало положительное влияние на общий рабочий процесс вашей компании. То есть, воздействие приложения было статистически значимым и обеспечило ценность. Если выяснится, что приложение не было статистически значимым, это означает, что ваши бизнес-доллары и приложение находятся под угрозой. Обязательно измерьте статистическую значимость для каждого результата, чтобы получить более полный расчет и результат.

Чтобы помочь вам принимать бизнес-решения в будущем, рассмотрите возможность использования релевантности бизнеса наряду со статистической значимостью. Это гарантирует, что ваши решения не будут основаны только на статистической значимости.

Как рассчитать статистическую значимость

Расчет статистической значимости довольно сложен, если вычислять его вручную, поэтому обычно его рассчитывают с помощью калькулятора. Однако, когда вы рассчитаете его вручную, это поможет вам более полно понять концепцию. Вот шаги для расчета статистической значимости:

1. Создайте нулевую гипотезу.

2. Создание альтернативной гипотезы.

3. Определите уровень значимости.

4. Решите, какой тип теста вы будете использовать.

5. Проведите анализ мощности для определения размера выборки.

6. Рассчитайте стандартное отклонение.

7. Используйте формулу стандартной ошибки.

8. Определите t-score.

9. Найдите степени свободы.

10. Используйте t-таблицу.

1. Создайте нулевую гипотезу

Первым шагом в расчете статистической значимости является определение нулевой гипотезы. Ваша нулевая гипотеза должна утверждать, что между используемыми вами наборами данных нет существенной разницы. Помните, что вам не нужно верить в нулевую гипотезу.

2. Создайте альтернативную гипотезу

Затем создайте альтернативную гипотезу. Как правило, альтернативная гипотеза противоположна нулевой гипотезе, поскольку она утверждает, что между вашими наборами данных существует статистически значимая связь.

3. Определите уровень значимости

Следующий шаг - определение уровня значимости или, скорее, альфы. Это относится к вероятности отвергнуть нулевую гипотезу, даже если она верна. Обычное значение альфа равно 0.05 или пять процентов.

4. Определите тип теста, который вы будете использовать

Далее вам нужно определить, будете ли вы использовать тест с одним хвостом или тест с двумя хвостами. В то время как критическая область распределения является односторонней в тесте с одним хвостом, в тесте с двумя хвостами она двусторонняя. Другими словами, тесты с одним хвостом анализируют связь между двумя переменными в одном направлении, а тесты с двумя хвостами анализируют связь между двумя переменными в двух направлениях. Если используемая вами выборка попадает в одностороннюю критическую область, альтернативная гипотеза считается верной.

5. Проведите анализ мощности, чтобы определить размер выборки

Затем вам нужно будет провести анализ мощности, чтобы определить размер выборки. Анализ мощности включает в себя размер эффекта, размер выборки, уровень значимости и статистическую мощность. Для этого шага воспользуйтесь калькулятором. Этот вид анализа позволяет увидеть размер выборки, который вам понадобится для определения эффекта от данного теста в пределах доверительной вероятности. Другими словами, это позволит вам узнать, какой размер выборки подходит для определения статистической значимости. Например, если размер вашей выборки окажется слишком маленьким, это не даст вам точного результата.

6. Рассчитайте стандартное отклонение

Далее необходимо рассчитать стандартное отклонение. Для этого вы будете использовать следующую формулу:

стандартное отклонение = v((?|x??|^ 2) (N-1))

где:

? = сумма данных

x = индивидуальные данные

? = среднее значение данных для каждой группы

N = общая выборка

Выполнение этого расчета позволит вам узнать, насколько разбросаны ваши измерения относительно среднего или ожидаемого значения. Если у вас несколько групп выборки, вам также необходимо определить дисперсию между группами выборки.

7. Используйте формулу стандартной ошибки

Далее вам нужно будет использовать формулу стандартной ошибки. Для наших целей предположим, что у вас есть два стандартных отклонения для двух групп. Формула стандартной ошибки выглядит следующим образом:

стандартная ошибка = v((s1N1) + (s2N2))

где:

s1 = стандартное отклонение вашей первой группы

N1 = объем выборки первой группы

s2 = стандартное отклонение вашей второй группы

N2 = объем выборки второй группы

8. Определите t-score

Для следующего шага вам нужно будет найти t-score. Уравнение для этого выглядит следующим образом:

t = ((µ1-µ2) (sd))

где:

t = t-score

µ1 = среднее значение первой группы

µ2 = среднее значение второй группы

sd = стандартная ошибка

9. Найдите степени свободы

Далее вам нужно определить степени свободы. Формула для этого выглядит следующим образом:

степени свободы = (s1 + s2) - 2

где:

s1 = образцы группы 1

s2 = выборки группы 2

10. Используйте t-таблицу

Наконец, вы рассчитаете статистическую значимость с помощью t-таблицы. Начните с левой части степеней свободы и найдите дисперсию. Затем поднимитесь вверх и посмотрите p-значения. Сравните p-значение с уровнем значимости или, скорее, с альфой. Помните, что p-значение меньше 0.05 считается статистически значимым.

Примеры статистической значимости

Рассмотрим следующие примеры статистической значимости:

Пример 1

Допустим, вы хотите привлечь больше клиентов в свой бизнес, поэтому вы решили провести рекламную кампанию. При этом вы учитываете, сколько рекламы должно быть сделано в печатном виде, а сколько - в цифровом. Вы полагаетесь на прошлые рекламные кампании, чтобы спрогнозировать, сколько вам понадобится каждой из них. Если вы определите, что p-значение выше 0.05 или 5%, вы получите результат, который не является статистически значимым. Это означает, что существует более чем 5% вероятность того, что связь между двумя типами рекламы была случайной. Таким образом, этот результат будет свидетельствовать о том, что использовать предыдущую рекламную кампанию в качестве ориентира нецелесообразно.

Пример 2

Далее, допустим, вы создали новый дизайн сайта компании в надежде привлечь больше клиентов. Вы определили, что после внедрения нового сайта статистически значимо увеличилось количество клиентов. Ваш расчет статистической значимости привел к p-значению 3% или 0.03. Учитывая, что значение меньше 0.05, это статистически значимый результат, означающий, что увеличение числа клиентов не было результатом случайного стечения обстоятельств.