Z-Test: что это такое и как работает Z-критерий — Affelist
header ads

Что такое Z-Test?

Z-Test

Это статистический тест для проверки значимости различий между показателями.
Формула
Формула — Z-Test

Z-Test (Z-тест) — статистический тест для проверки гипотез и определения того, является ли наблюдаемая разница между показателями статистически значимой.

Что такое Z-Test

Z-Test — метод статистической проверки гипотез, основанный на стандартном нормальном распределении. С его помощью можно оценить, насколько полученный результат отличается от ожидаемого и могла ли наблюдаемая разница возникнуть случайно.

Z-тест применяется для сравнения средних значений, а также долей и пропорций. Например, с его помощью можно сравнить конверсию двух вариантов страницы в A/B-тестировании.

Результатом анализа становится Z-статистика, на основании которой рассчитывается p-value и принимается решение о статистической значимости результата.

Для чего используют Z-Test

Z-тест применяется в аналитике, маркетинге, исследованиях и других областях, где необходимо принимать решения на основании данных.

С его помощью можно:

  • сравнивать средние значения двух выборок;
  • сравнивать показатель выборки с заданным значением;
  • проверять различия между долями;
  • анализировать результаты экспериментов;
  • оценивать статистическую значимость результатов A/B-тестов.

Например, компания тестирует две версии страницы и получает разные показатели конверсии. Одного факта, что вариант B показывает 12%, а вариант A — 10%, недостаточно, чтобы уверенно считать B эффективнее. Необходимо учитывать размер выборки и случайные колебания.

Как работает Z-Test

Сначала формулируются две гипотезы.

Нулевая гипотеза (H₀) предполагает, что статистически значимого различия между сравниваемыми показателями нет.

Альтернативная гипотеза (H₁) предполагает наличие различия.

После этого рассчитывается Z-статистика — стандартизированная величина, показывающая, насколько наблюдаемый результат отклоняется от значения, ожидаемого при нулевой гипотезе.

Общий принцип можно представить так:

Z = (наблюдаемое значение − ожидаемое значение) / стандартная ошибка

Чем сильнее результат отклоняется от ожидаемого относительно стандартной ошибки, тем больше оснований сомневаться в нулевой гипотезе.

Что такое p-value в Z-Test

После расчета Z-статистики можно определить p-value. Этот показатель отражает вероятность получить наблюдаемый или более экстремальный результат при условии, что нулевая гипотеза верна.

До проведения теста выбирают уровень значимости α. Часто используется значение 0,05.

Если:

p-value < 0,05 — результат считают статистически значимым при α = 0,05;

p-value ≥ 0,05 — имеющихся данных недостаточно, чтобы отвергнуть нулевую гипотезу на этом уровне значимости.

Важно: p-value меньше 0,05 не доказывает, что один вариант «действительно лучше» во всех будущих случаях. Тест показывает наличие статистических оснований отвергнуть H₀ при выбранных предположениях и уровне значимости.

Z-Test в A/B-тестировании

Одно из применений Z-теста — сравнение долей, например коэффициентов конверсии.

Допустим:

  • вариант A получил 1000 посещений и 100 конверсий — CR 10%;
  • вариант B получил 1000 посещений и 120 конверсий — CR 12%.

На первый взгляд вариант B эффективнее. Однако разница в два процентных пункта могла возникнуть из-за случайных колебаний.

Тест для двух пропорций позволяет учесть размер выборок и количество успешных событий. Если полученное p-value оказывается ниже заранее выбранного уровня значимости, нулевая гипотеза о равенстве долей отвергается.

Когда применяется Z-Test

Классический Z-тест среднего особенно уместен, когда известно стандартное отклонение генеральной совокупности и выполнены соответствующие предпосылки модели.

Правило «выборка обязательно больше 30» является лишь распространенным упрощением, а не универсальным требованием. Для больших выборок нормальное приближение часто становится обоснованнее благодаря центральной предельной теореме.

При сравнении конверсий используются Z-тесты для пропорций, для которых важны достаточные количества наблюдений и событий в каждой группе.

Если предпосылки Z-теста не выполняются, в зависимости от задачи могут использоваться t-тесты, точные или непараметрические методы.

Z-Test и T-Test: в чем разница

Оба метода применяются для проверки статистических гипотез, однако используют разные распределения и предпосылки.

Классический Z-тест среднего опирается на нормальное распределение и предполагает известную дисперсию генеральной совокупности. T-Test использует распределение Стьюдента и особенно распространен при оценке среднего, когда дисперсия генеральной совокупности неизвестна.

Выбор теста зависит не просто от количества наблюдений, а от типа данных, проверяемой гипотезы и статистических предпосылок.

Зачем нужен Z-Test

Z-Test позволяет отделить наблюдаемую разницу в данных от статистического шума. Это помогает не делать выводы только на основании того, что один показатель визуально выше другого.

Поэтому Z-тест используется как один из инструментов статистического анализа экспериментов и A/B-тестов, позволяя принимать решения на основании измеримых данных и заранее заданного уровня статистической значимости.

Занимаюсь развитием контента Affelist: публикую новости индустрии, добавляю актуальные события и конференции, обновляю разделы с компаниями и специалистами CPA-рынка. Слежу за главными изменениями в affiliate-маркетинге, чтобы пользователи всегда имели доступ к свежей и полезной информации.