Предположим, что вы вычислили t-критерий Стьюдента. Или U-критерий Манна-Уитни. Или какой-нибудь другой. Как же по нему понять, действительно ли песики и котики различаются по размеру? Чтобы это выяснить, статистики используют весьма нетривиальный подход.
Во-первых, они делают предположение, что котики и песики как биологические виды абсолютно не отличаются друг от друга. Это предположение называется нулевой гипотезой.
Следующим шагом они вычисляют вероятность того, что две случайно выбранные группы котиков и песиков дадут значение критерия большее или равное тому, которое мы получили (чаще всего без учета его знака). Эта вероятность называется p-уровнем значимости.
Если p-уровень значимости меньше 5% (чаще записывается как 0,05), то нулевая гипотеза отвергается и принимается гипотеза о том, что котики и песики все-таки различаются. Такая гипотеза называется альтернативной.
Если же p-уровень значимости больше 0,05, то нулевая гипотеза не отвергается.
Однако, то, что она не отвергается, еще не значит, что она верна. Это означает только то, что в данном опыте мы не обнаружили значимых различий.