Что такое статистическая значимость и зачем она нужна

Статистическая значимость — концепция из классической статистики, используется в науке, маркетинге, медицине. Её часто понимают неверно.

Нулевая гипотеза

Это предположение "нет эффекта". Например: "новое лекарство не лучше плацебо". Цель — статистически отвергнуть эту гипотезу и доказать, что эффект есть.

P-value

Вероятность получить наблюдаемый результат (или более экстремальный), если нулевая гипотеза верна. Если p < 0.05 — "статистически значимо". Это произвольный порог.

Пример

Тестируем лекарство на 1000 пациентах. Группа лечения выздоравливает на 5% чаще контрольной. P-value = 0.03. Значит: если бы лекарство не работало, такой результат получался бы в 3% подобных исследований случайно. "Статистически значимо".

Главные ошибки

1. P-value не размер эффекта: p < 0.05 не значит, что эффект большой. Может быть крошечным, но статистически значимым при больших выборках
2. P-hacking: множественные тесты в одном исследовании искусственно повышают шанс найти "значимый" результат
3. Публикационный bias: только значимые результаты публикуются. Это искажает научную картину
4. Replicability crisis: многие "значимые" результаты не воспроизводятся в независимых экспериментах

Альтернативы

Байесовская статистика — работает с вероятностями, а не с пороговой значимостью. Доверительные интервалы — показывают не только "есть эффект" но и "какой". Effect size — абсолютная величина эффекта.

Что важно

Значимость ≠ важность. Всегда спрашивайте: а насколько эффект большой? Воспроизводился ли он? Это не математическая формальность — это реальный критерий.