🟦CUPED

Тут мало инфы. Если надо разобраться, то вот статья.

CUPED (Controlled-experement Using Pre-Experement Data) - техника увеличения чувствительности статистических тестов (A/B тестов) за счет использования исторических данных.

Суть метода CUPED состоит в переходе от метрики \(Y\) к \(Y_{cuped}\), которая вычисляется по формуле \(Y_{cuped} = Y - \theta X, \,\,\theta \in \mathbb{R}\). Т.е. для каждого объекта в контролькой и экспериментальной группе надо получить значение целевой метрики и ковариаты, по ним вычислить значение новой cuped-метрики. Значения контрольной и эксперементальной cuped-метрики будут подаваться в статистический критерий для проверки нужной нам гипотезы.

\[ D[\overline X_{cuped}] = D[\overline Y - \theta \overline X] = \frac{D[Y-\theta X]}{n} = \frac{D[Y] + \theta^2D[X]+ 2\theta cov(Y, X)}{n} \]

Отсюда \(\theta_o = \frac{cov(X, Y)}{D[X]}\).

Чем сильнее ковариата коррелирует с целевой метрикой, тем сильнее можно снизить дисперсию.

Алгоритм применения CUPED.

1. Вычислить значения исходной метрики \(Y\) для каждого пользователя в контрольной и экспериментальной группах.

2. Вычислить значения ковариаты \(X\) для каждого пользователя в контрольной и экспериментальной группах. Если вычислить не получается, например, потому что пользователь новый, то просто ставим ему 0.

3. Вычислить \(\theta_o = \frac{cov(X, Y)}{D[X]}\)

4. Для каждого пользователя вычислить \(Y_{cuped} = Y - \theta X\)

5. Применить статистический тест на значениях \(cuped\)-метрики контрольной и эксперименитальной групп.
   

📎Обычно в качестве \(X\) берут значения целевой переменной за некоторый срок до проведеня эксперимента. Но можно использовать и другие параметры, например, пол пользователя, город, возраст и т.д. А \(X\) предсказывать с помощью моделей МО.

Код

Продолжительность пользовательских сессий.

Сгенерим синтетические данные со средней продолжительностью пользовательских сессий.

import numpy as np
import pandas as pd
from scipy.stats import ttest_ind

group_size = 100

np.random.seed(33)

df_pilot = pd.DataFrame({'y_before': np.random.normal(120, 40, group_size)})
df_control = pd.DataFrame({'y_before': np.random.normal(120, 40, group_size)})

Добавим столбец со средним временим сессии во время пилота. Пусть наши изменения вызвали в пилотной группе рост длины сессии на 5 минут в среднем.

df_pilot['y'] = df_pilot['y_before'] + np.random.normal(0, 10, group_size)
df_control['y'] = df_control['y_before'] + np.random.normal(0, 10, group_size)

df_pilot['y'] += np.random.normal(5, 2, group_size)

df_pilot.head()

	y_before	y
0	107.245860	117.249746
1	55.880778	64.625057
2	58.591285	54.735771
3	97.183964	105.821062
4	111.330868	117.212246

df_pilot.mean().round(1)

y_before    118.5
y           123.9
dtype: float64

df_control.mean().round(1)

y_before    114.2
y           116.1
dtype: float64

Видим, что средние стали отличаться, в пилотной группе значение больше.

Проверим значимость отличий.

Оличия не значимы, применим CUPED

_, pvalue_prepilot = ttest_ind(df_pilot['y_before'], df_control['y_before'])
_, pvalue_pilot = ttest_ind(df_pilot['y'], df_control['y'])
print(f'pvalue prepilot {pvalue_prepilot:0.3f}')
print(f'pvalue pilot {pvalue_pilot:0.3f}')

pvalue prepilot 0.475
pvalue pilot 0.209

def calculate_theta(y_control, y_pilot, y_control_cov, y_pilot_cov) -> float:
    """Вычисляем Theta.
    
    y_control - значения метрики во время пилота на контрольной группе
    y_pilot - значения метрики во время пилота на пилотной группе
    y_control_cov - значения ковариант на контрольной группе
    y_pilot_cov - значения ковариант на пилотной группе
    """
    y = np.hstack([y_control, y_pilot])
    y_cov = np.hstack([y_control_cov, y_pilot_cov])
    covariance = np.cov(y_cov, y)[0, 1]
    variance = y_cov.var()
    theta = covariance / variance
    return theta

theta = calculate_theta(
    df_control['y'], df_pilot['y'],
    df_control['y_before'], df_pilot['y_before']
)

for df_ in [df_pilot, df_control]:
    df_['y_cuped'] = df_['y'] - theta * df_['y_before']

_, pvalue_cuped = ttest_ind(df_pilot['y_cuped'], df_control['y_cuped'])
print(f'pvalue cuped {pvalue_cuped:0.3f}')

pvalue cuped 0.014

Получили значимый эффект, посмотрим как изменились дисперсии и разница средних.

var_y_pilot = df_pilot['y'].var()
var_y_control = df_control['y'].var()
var_y_cuped_pilot = df_pilot['y_cuped'].var()
var_y_cuped_control = df_control['y_cuped'].var()

delta_y = df_pilot['y'].mean() - df_control['y'].mean()
delta_y_cuped = df_pilot['y_cuped'].mean() - df_control['y_cuped'].mean()

print(
    f'pilot group\n    var(y) = {var_y_pilot:0.1f}\n    var(y_cuped) = {var_y_cuped_pilot:0.1f}'
    f'\n    var(y)/var(y_cuped) = {var_y_pilot/var_y_cuped_pilot:0.2f}'
)
print(
    f'control group\n    var(y) = {var_y_control:0.1f}\n    var(y_cuped) = {var_y_cuped_control:0.1f}'
    f'\n    var(y)/var(y_cuped) = {var_y_control/var_y_cuped_control:0.2f}'
)
print(f'\ndelta_y = {delta_y:0.2f}\ndelta_y_cuped = {delta_y_cuped:0.2f}')

pilot group
    var(y) = 1842.7
    var(y_cuped) = 101.6
    var(y)/var(y_cuped) = 18.14
control group
    var(y) = 1920.2
    var(y_cuped) = 86.6
    var(y)/var(y_cuped) = 22.16

delta_y = 7.73
delta_y_cuped = 3.41

Дисперсия упала примерно в 20 раз.