🟦MDE

Мощностью статистического критерия называют вероятность принять альтернативную гипотезу в случае, если она верна.

MDE - это минимальный эффект, который можно обнаружить при выбранном уровне значимости и мощности.

Математическое обоснование

Пусть \(X_1, X_2, ..., X_n \sim N(\mu, \sigma^2_0)\)

Гипотезы:

• \(H0: \mu = \mu_0\)

• \(H1: \mu = \mu_1\), (\(\mu_0 < \mu_1\))

Воспользуемся критерием отношения правдоподобия:

\[ T(X) = \frac{L_1}{L_0} = \frac { \prod_{i=1}^{n} \frac{1}{\sigma_0\sqrt{2\pi}}\, exp\{\frac{-(X_i - \mu_1)^2}{2\sigma^2_0}\} } { \prod_{i=1}^{n} \frac{1}{\sigma_0\sqrt{2\pi}}\, exp\{\frac{-(X_i - \mu_0)^2}{2\sigma^2_0}\} }= \]

\[ =exp\left\{\frac{1}{2\sigma^2_0}\left(\sum_{i=1}^n 2X_i(\mu_1 - \mu_0) + \sum_{i=1}^n \left(\mu_1 - \mu_0\right)^2\right) \right\} \]

Эта величина зависит от выборки в одном месте. Критерий имеет вид \(T(X) \geq c^*(\alpha)\) или \(\sum_{i=1}^n X_i \geq c(\alpha)\), где \(\alpha\) - уровень статистической значимости.

Мы хотим зафиксировать ошибку 1 рода: \(P(\sum X_i \geq q| H_0) \leq \alpha\). Т.е. хотим подобрать такую \(c\), чтобы наша статистика выходила за ее пределы с вероятностью \(\leq \alpha\).

По ЦПТ \(\sum X_i \sim N(n\mu, nVar(X_i))\). В нашем случае \(\sum X_i \sim N(n\mu, n\sigma^2_0)\)

Отнормируем и рассмотрим крайний случай, когда \(P(\cdot) = \alpha\):

\[ P\left(\frac{\sum X_i - n\mu_0}{\sqrt n \sigma_0} \geq \frac{c-n\mu_0}{\sqrt n \sigma_0}\right) = \alpha \]

Перепишем в следующем виде:

\[ 1-F_{N(0, 1)}\left(\frac{c - n\mu_0}{\sqrt{n}\sigma_0}\right) = \alpha \]

Выразим \(c\):

\[ c= F^{-1}_{N(0, 1)}(1-\alpha)\sqrt n \sigma_0 + n\mu_0 \]

Заметим, что \(c\) не зависит от \(\mu_1\) и \(\forall \mu_1: \mu_1 > \mu_0\).

Разберемся теперь с ошибкой 2 рода, т.е. \(P(\sum X_i \geq c | H_1) \geq 1-\beta\) Распишем:

\[ P\left(\frac{\sum X_i - n\mu_1}{\sqrt n \sigma_0} \geq \frac{c-n\mu_1}{\sqrt n \sigma_0}\right) \geq 1-\beta \]

Подставим сюда \(c\), полученное ранее:

\[ P\left(\frac{\sum X_i - n\mu_1}{\sqrt n \sigma_0} \geq\frac{F^{-1}_{N(0, 1)}(1-\alpha)\sqrt n \sigma_0 + n\mu_0 - n\mu_1}{\sqrt n \sigma_0}\right) \geq 1-\beta \]

\[ 1 - F_{N(0, 1)}\left[F^{-1}_{N(0, 1)}(1-\alpha) + \frac{\sqrt n(\mu_0 - \mu_1)}{\sigma_0}\right] \geq 1-\beta \]

\[ \beta \geq F_{N(0, 1)}\left[F^{-1}_{N(0, 1)}(1-\alpha) + \frac{\sqrt n(\mu_0 - \mu_1)}{\sigma_0}\right] \]

\[ F^{-1}_{N(0, 1)}(\beta) \geq F^{-1}_{N(0, 1)}(1-\alpha) + \frac{\sqrt n(\mu_0 - \mu_1)}{\sigma_0} \]

Пусть \(\mu_1 - \mu_0 = \varepsilon\) - ожидаемый эффект в абсолютных величинах.

\[ F^{-1}_{N(0, 1)}(\beta) \geq F^{-1}_{N(0, 1)}(1-\alpha) + \frac{\sqrt n\varepsilon}{\sigma_0} \]

Выразим \(\varepsilon\):

\[ \varepsilon \geq \left[F^{-1}_{N(0, 1)}(1-\alpha) - F^{-1}_{N(0, 1)}(\beta)\right] \cdot \frac{\sigma_0}{{\sqrt n}} \]

Покажем, что \(F^{-1}_{N(0, 1)}(\beta) = - F^{-1}_{N(0, 1)}(1-\beta)\)

Пусть \(F_{N(0, 1)}(x) = \beta\). Известно, что \(F_{N(0, 1)}(x) + F_{N(0, 1)}(-x) = 1\), тогда \(F_{N(0, 1)}(-x) = 1 - F_{N(0, 1)}(x) = 1 - \beta\) \(x = F_{N(0, 1)}(1-\beta)\) С другой стороны: \(x = F_{N(0, 1)}(\beta)\) Подставив, получим доказываемое равенство

\[ \varepsilon \geq \left[F^{-1}_{N(0, 1)}(1-\alpha) + F^{-1}_{N(0, 1)}(1-\beta)\right] \cdot \frac{\sigma_0}{{\sqrt n}} \]

Показывает, какой размер эффекта \(\varepsilon\) мы способны обнаружить при заданных \(\alpha\) и \(\beta\), выборки размера \(n\) и дисперсиями \(\sigma_0\).

Резюме

MDE - минимальный эффект, который можем поймать.

• \(\varepsilon\) - размер эффекта (в абсолютных величинах)

• \(\alpha\) - допустимая ошибка 1 рода

• \(\beta\) - допустимая ошибка 2 рода

• \(\sigma^2_x, \sigma^2_y\) - дисперсии выборок

• \(n\) - размер выборки

\[ \varepsilon^2 \geq \left[F^{-1}_{N(0, 1)}(1-\alpha) + F^{-1}_{N(0, 1)}(1-\beta)\right]^2 \cdot \frac{(\sigma^2_x+ \sigma^2_y)}{n} \]

\[ \varepsilon \geq \left[F^{-1}_{N(0, 1)}(1-\alpha) + F^{-1}_{N(0, 1)}(1-\beta)\right] \cdot \sqrt{\frac{\sigma^2_x}{n_x}+ \frac{\sigma^2_y}{n_y}} \]

Оценим размер выборки, который необходим, чтобы обнаружить ожидаемый эффект при фиксированных ошибках первого и второго рода:

\[ n \geq \left[F^{-1}_{N(0, 1)}(1-\alpha) + F^{-1}_{N(0, 1)}(1-\beta)\right]^2 \frac{\sigma^2_x + \sigma^2_y}{\varepsilon^2} \]

По сути, влиять мы можем только на дисперсии. А об этом дальше.

import math
from IPython.display import display

import numpy as np
from scipy import stats
import pandas as pd

class Mde:
    
    @classmethod
    def get_diff(
        cls, 
        first_type_error: float, 
        second_type_error: float, 
        n_x: int, 
        std_x: float, 
        n_y: int = None, 
        std_y: float = None, 
        two_sided: bool = True
    ) -> float:
        if std_y is None:
            std_y = std_x
        if n_y is None:
            n_y = n_x

        f_alpha = stats.norm(0, 1).ppf(1-first_type_error/(1+two_sided))
        f_beta = stats.norm(0, 1).ppf(1-second_type_error)
        se = math.sqrt(std_x**2 / n_x + std_y**2/n_y)
        
        return (f_alpha + f_beta) * se
    
    @classmethod
    def get_sample_size_abs(
        cls, 
        effect: float, 
        first_type_error: float, 
        second_type_error: float, 
        std_x: float, 
        std_y: float = None, 
        two_sided: bool = True
    ) -> int:
        if std_y is None:
            std_y = std_x

        f_alpha = stats.norm(0, 1).ppf(1-first_type_error/(1+two_sided))
        f_beta = stats.norm(0, 1).ppf(1-second_type_error)

        norm_std = (std_x**2 + std_y**2) / effect**2
        return math.ceil((f_alpha + f_beta)**2 * norm_std)

    @classmethod
    def get_sample_size_arb(
        cls, 
        mu: float,
        effect_percantage: float, 
        first_type_error: float, 
        second_type_error: float, 
        std_x: float, 
        std_y: float = None, 
        two_sided: bool = True
    ) -> int:
        new_mu = mu * (1 + effect_percantage)
        return cls.get_sample_size_abs(new_mu - mu, first_type_error, second_type_error, std_x, std_y, two_sided)
    
    @classmethod
    def get_sample_size_table(
        cls, 
        mu: float,
        std_x: float, 
        effect_percantage: list[int] = [0.01, 0.02, 0.03, 0.04, 0.05, 0.06, 0.07, 0.08, 0.09, 0.1], 
        first_type_error: float = [0.01, 0.03, 0.05, 0.1], 
        second_type_error: float = [0.05, 0.1, 0.15, 0.2, 0.25], 
        std_y: float = None, 
        two_sided: bool = True
    ) -> None:
        
        multi_index = []
        values = []
        for alpha in first_type_error:
            for effect in effect_percantage:
                betas = []
                multi_index.append((alpha, f'{int(effect*100)}%'))
                for beta in second_type_error:
                    betas.append(
                        cls.get_sample_size_arb(
                            mu=mu,
                            effect_percantage=effect,
                            first_type_error=alpha,
                            second_type_error=beta,
                            std_x=std_x,
                            std_y=std_y,
                            two_sided=two_sided
                        )
                    )
                values.append(betas)
        multi_index = pd.MultiIndex.from_tuples(multi_index, names=['alpha', 'effect'])
        
        with pd.option_context('display.max_rows', None):
            display(pd.DataFrame(
                values, 
                index=multi_index, 
                columns=[f'beta: {second_type_error[0]}'] + second_type_error[1:])
            )
        
        return None
        

Mde.get_sample_size_table(10, 1)

		beta: 0.05	0.1	0.15	0.2	0.25
alpha	effect
0.01	1%	3563	2976	2610	2336	2113
	2%	891	744	653	584	529
	3%	396	331	290	260	235
	4%	223	186	164	146	133
	5%	143	120	105	94	85
	6%	99	83	73	65	59
	7%	73	61	54	48	44
	8%	56	47	41	37	34
	9%	44	37	33	29	27
	10%	36	30	27	24	22
0.03	1%	2911	2383	2057	1815	1619
	2%	728	596	515	454	405
	3%	324	265	229	202	180
	4%	182	149	129	114	102
	5%	117	96	83	73	65
	6%	81	67	58	51	45
	7%	60	49	42	38	34
	8%	46	38	33	29	26
	9%	36	30	26	23	20
	10%	30	24	21	19	17
0.05	1%	2599	2102	1796	1570	1389
	2%	650	526	449	393	348
	3%	289	234	200	175	155
	4%	163	132	113	99	87
	5%	104	85	72	63	56
	6%	73	59	50	44	39
	7%	54	43	37	33	29
	8%	41	33	29	25	22
	9%	33	26	23	20	18
	10%	26	22	18	16	14
0.10	1%	2165	1713	1438	1237	1076
	2%	542	429	360	310	269
	3%	241	191	160	138	120
	4%	136	108	90	78	68
	5%	87	69	58	50	44
	6%	61	48	40	35	30
	7%	45	35	30	26	22
	8%	34	27	23	20	17
	9%	27	22	18	16	14
	10%	22	18	15	13	11