🟦Ratio-метрики

Cтатья от Cбера и статья от X5.

Формально про ratio-метрики

Введем два термина, а именно единица анализа и единица рандомизации.

Единица анализа — это сущность относительно которой мы хотим посчитать метрику. Ей может быть пользователь, сессия, заказ, кнопка, баннер, временной промежуток и тп.

К примеру, есть общий объем денег, полученный за какой-то период. Если мы его поделим (нормируем) на всех пользователей, то получим ARPU, а если на заказы — средний чек.

Также, можно сгруппировать данные по пользователям и для каждого определить его траты, построить их распределение, а средним значением этого распределения и будет ARPU. Проделав то же самое с заказами, в распределении их цен средним значением будет средний чек. Мы просто перераспределяем общий массив чего-то на какие-то различные единицы анализа.

Единица рандомизации — это сущность, которую мы случайным образом назначаем в тестовую или контрольную группы в А/B-тестах, ей также может быть пользователь, сессия, заказ или временной промежуток. Но на практике чаще всего рандомизируют именно пользователей, на их примере и будем разбираться дальше.

Рандомизация помогает нивелировать влияние ненаблюдаемых факторов, которые могут исказить результаты эксперимента. К этим факторам можно отнести любой номинативный признак пользователя, например, возраст, пол, геолокацию, а также любой другой с менее четкой формулировкой — «излишне активный», «прокликивает только выгодные акции», «неуверенный/не знает что выбрать» и тп.

Благодаря рандомизации мы знаем, что наблюдаемая разница между значениями метрик в группах возникла в результате одного из двух вариантов:

• Либо из-за нашей экспериментальной механики;

• По чистой случайности, т.е. рандомное назначение в группы, возможно, привело к тому, что более результативные пользователи оказались в одной группе.

Кроме того, рандомизация обеспечивает независимость полученных от пользователей сигналов. Так, траты или клики одного пользователя не зависят от действий другого. Независимость наблюдений — одно из главных свойств для применения статистического критерия к данным.

Когда в эксперименте совпадает единица анализа и единица рандомизации, то смело можно применять статкритерий для проверки гипотезы. Это относится к любой пользовательской конверсии и средней пользовательской метрике, поскольку для одной метрики мы имеем только одну выборку независимых пользовательских сигналов.

Из-за требования статкритериев к независимости наблюдений все сигналы в A/B-тестах справедливо определять только в разрезе единицы рандомизации, т.е. пользователя.

Когда в эксперименте хочется посчитать метрику относительно другой единицы анализа, отличной от единицы рандомизации, то появляется ratio-метрика, которая имеет особенность в формальном определении через единицу рандомизации. Интересующая в эксперименте единица анализа всегда находится в зависимости от единицы рандомизации. При этом сами зависимые сущности и их сигналы можно «свернуть» до двух соответствующих пользовательских сигналов. К примеру, если у пользователя есть три заказа с определенными ценами, то для этого пользователя нужно просто посчитать число заказов и суммарные траты по ним. Проделав так для всех пользователей, дальше можно сложить сигналы по двум новым полям и поделить их суммы друг на друга, так получится среднее значение для интересующей единицы анализа, в нашем случае — средний чек.

Ratio-метрика — это метрика отношения непользовательского уровня (non-user level metric) с зависимыми наблюдениями, но которая явным образом выражается через отношение сумм соответствующих пользовательских сигналов.

Почему нельзя считать ratio-метрики t-тестом?

Формально — из-за нарушения предпосылок о независимости наблюдений, поскольку цены заказов, длины сессий, конверсии показов в клик и тп. в рамках одного пользователя адекватно считать скоррелированными. Получается, что принадлежащие одному пользователю единицы анализа и значения их сигналов зависят от субъективных характеристик этого самого пользователя.

Неформально это тезис можно проверить на синтетических A/A-тестах, распределяя по разным группам пользователей, а статзначимость оценивая, например, по их заказам. При этом распределение p-value для ratio-метрики будет отличаться от равномерного. В свою очередь, распределение p-value для средней пользовательской метрики по таким же сигналам будет иметь корректное равномерное распределение.

import math
import numpy as np
import pandas as pd
from scipy import stats
from tqdm import tqdm
import matplotlib.pyplot as plt
import seaborn as sns

np.random.seed(42)

def gen_aa_data(n_users=5000, sessions_per_user=3):
    group = np.random.choice(["A", "B"], size=n_users)
    sessions_per_user = np.random.poisson(sessions_per_user, size=n_users) + 1
    rows = []
    for i in range(n_users):
        user_group = group[i]

        user_mean = np.random.lognormal(mean=2.0, sigma=1)

        n_sess = sessions_per_user[i]
        revenue = np.random.normal(loc=user_mean, scale=1.0, size=n_sess)

        for r in revenue:
            rows.append((i, user_group, r))
    df = pd.DataFrame(rows, columns=["user_id", "group", "revenue"])
    return df[df.group == 'A'], df[df.group == 'B']

def plot_pvalue_ecdf(pvalues, alpha=0.05, title=None):
    fig, (ax1, ax2) = plt.subplots(1, 2, figsize=(14, 6))

    if title:
        plt.suptitle(title)

    sns.histplot(pvalues, ax=ax1, bins=20, stat='density')
    ax1.plot([0,1],[1,1], 'k--')
    ax1.set_xlabel('p-value')
    ax1.axvline(alpha, color='r', linestyle='--', label=f'α = {alpha}\nFPR = {np.mean(np.array(pvalues)<alpha)}')
    ax1.legend()

    sns.ecdfplot(pvalues, ax=ax2)
    ax2.set_ylabel('Probability')
    ax2.set_xlabel('p-value')
    ax2.grid()

gen_aa_data()[0]

	user_id	group	revenue
0	0	A	5.760583
1	0	A	6.492185
2	0	A	5.186003
3	0	A	5.248786
4	0	A	6.018372
...	...	...	...
20026	4997	A	8.622417
20027	4997	A	8.022218
20028	4997	A	8.390011
20029	4997	A	10.039620
20030	4997	A	7.995335

10116 rows × 3 columns

def run_once():
   
    df = gen_aa_data()
    # --- Ratio (session-level): зависимые наблюдения ---
    df_a, df_b = gen_aa_data()
    p_ratio = stats.ttest_ind(df_a.revenue, df_b.revenue, equal_var=False).pvalue

    # --- User-level ---
    user_mean_a = df_a.groupby(["user_id"], as_index=False)["revenue"].mean()
    user_mean_b = df_b.groupby(["user_id"], as_index=False)["revenue"].mean()
    p_user = stats.ttest_ind(user_mean_a.revenue, user_mean_b.revenue, equal_var=False).pvalue

    return p_ratio, p_user

n_iter = 1000
alpha = 0.05

p_ratio_list, p_user_list = zip(*[run_once() for _ in range(n_iter)])
p_ratio_list = np.array(p_ratio_list)
p_user_list = np.array(p_user_list)

fpr_ratio = np.mean(p_ratio_list < alpha)
fpr_user = np.mean(p_user_list < alpha)

plot_pvalue_ecdf(p_ratio_list, title='A/A t-test для ratio-метрик')
plot_pvalue_ecdf(p_user_list, title='A/A t-test для предусредненных метрик')

Получается, если расчитывать ratio-метрики t-тестом, то в ваших экспериментах будет расти ошибка 1-го рода, что приведет к значительному росту добавленных в продукт механик-пустышек без положительного влияния на бизнес.

Тогда встает логичный вопрос, а как в таком случае оценивать на статзначимость ratio-метрики, и здесь есть 3 распространенных варианта:

• Посчитать через прокси-метрику, выраженную предусредненным средним значением на пользователя.

• С помощью бутстрапа.

• С помощью дельта-метода.

И каждый из них имеет свои недостатки. Давайте разбираться на примере среднего чека, CTR баннера и средней длины сессии.

🔹Предусредненное среднее

Наивное решение заключается в том, чтобы преобразовать ratio-метрику к средней пользовательской прокси-метрике, предварительно усреднив по пользователю соответствующие сигналы. Таким образом получится предусредненное среднее пользовательских значений. На картинке ниже указана общая формула для среднего чека на пользователя, CTR на пользователя и средней длины сессии на пользователя.

Для такой метрики корректно считать значимость стандартными статтестами, так как эти сигналы независимы. Однако у такой метрики есть проблема — в экспериментах наблюдаемый эффект в предусредненном среднем и в целевой ratio-метрике могут иметь разный знак, т.е. эффекты могут быть разнонаправлены. Например, средний чек на пользователя может статзначимо вырасти, но реальный глобальный средний чек мог упасть. Проверить это можно либо на корпусе проведенных экспериментов, либо с помощью симуляций.

На картинке по оси Ox наблюдаемые изменения в предусредненном среднем, по Oy эффект в ratio-метрике. Сонаправленные изменения выделены зелеными точками, а разнонаправленные — красными. Получается из-за того, что в экспериментах может отсутствовать сонаправленность эффектов между этими метриками, то предусредненное среднее является плохой прокси-метрикой для замера статзначимости в ratio-метрике.

🔹Бутстрап

Когда не знаешь как посчитать статзначимость для своей метрики — бутстрап в помощь.

Фактически проблема статоценки разницы ratio-метрик t-тестом связана с зависимостью наблюдений. Нельзя просто взять и по группам посчитать выборочную дисперсию и оценить стандартную ошибку среднего (standard error) для разницы ratio-метрик. А вот с помощью бутстрапа можно.

Для ratio-метрики надо семплировать с повторением случайных пользователей в группах и отбирать их соответствующие сигналы для числителя и знаменателя, считать разницу бутстрапированных ratio-метрик и повторять так много-много раз. По итогу получится эмпирическое распределение разницы ratio-метрик, среднем значением которого будет наблюдаемый эффект в эксперименте, с какой-то оценкой ее вариативности, эмпирической стандартной ошибкой среднего. Из этого распределения уже можно посчитать заветный p-value.

\[ \Delta = R_{B_{bs}} - R_{A_{bs}} = \frac{\sum_{u \in T_{bs}} X(u)}{\sum_{u \in T_{bs}} Y(u)} - \frac{\sum_{u \in C_{bs}} X(u)}{\sum_{u \in C_{bs}} Y(u)} \]

Бутстрап выдает корректные p-value для ratio-метрик, но минус подхода очевиден — бутстрап вычислительно затратен и не масштабируется в рамках платформы экспериментов, где могут считаться десятки ratio-метрик. Так же нет пользовательской метрики, из-за чего не получится использовать известные способы понижения дисперсии.

# Средний размер транзакции в каждой из групп
# Важно, что это именно ratio-метрика, а не поюзерная 
# (усредненная для каждого) юзера.

def bootstrap(df_a, df_b, id_column='user_id', value_column='revenue', n_iter=2000, alpha=0.05):

    df_a = df_a.groupby([id_column]).agg(revenue_sum=(value_column, 'sum'),
                                         session_count=(value_column, 'count')).reset_index()
    df_b = df_b.groupby([id_column]).agg(revenue_sum=(value_column, 'sum'),
                                         session_count=(value_column, 'count')).reset_index()

    mean_diff = []
    for _ in range(n_iter):
        a_sample = df_a.sample(n=len(df_a), replace=True)
        b_sample = df_b.sample(n=len(df_b), replace=True)

        a_mean = a_sample['revenue_sum'].sum() / a_sample['session_count'].sum()
        b_mean = b_sample['revenue_sum'].sum() / b_sample['session_count'].sum()

        mean_diff.append(float(a_mean - b_mean))

    mean_diff = np.array(mean_diff)
    left_bound = np.quantile(mean_diff, alpha/2)
    right_bound = np.quantile(mean_diff, 1-alpha/2)
    out_ci = 1 if (left_bound > 0) or (right_bound < 0) else 0
    return mean_diff, left_bound, right_bound, out_ci


p_value = []
for _ in tqdm(range(400)):
    _, _, _, out_ci = bootstrap(*gen_aa_data())
    p_value.append(out_ci)
print('FPR: ' , np.mean(p_value))

mean_diff, left_bound, right_bound, p_value = bootstrap(*gen_aa_data())
plt.figure(figsize=(8,5))
plt.title('Singe Bootstrap test result')
plt.hist(mean_diff, bins=40, color='coral', alpha=0.7)
plt.axvline(0, color='k', linestyle='--', label='H₀: diff = 0')
plt.axvline(left_bound, color='black', linestyle='--', label=f'CI: {left_bound:.2f} – {right_bound:.2f}')
plt.axvline(right_bound, color='black', linestyle='--')
plt.xlabel("A_mean − B_mean")
plt.ylabel("Frequency")
plt.legend();

100%|██████████| 400/400 [05:33<00:00,  1.20it/s]

p-value:  0.055

🔹Дельта-метод

Ранее мы говорили, что тест Стьюдента не работает для метрик отношения из-за зависимых данных. Если копнуть глубже, то окажется, что тест Стьюдента не работает из-за неправильной оценки дисперсии. Для оценки дисперсии зависимых данных недостаточно просто вычислить выборочную дисперсию.

t - статистика для разницы двух ratio-метрик:

\[ t = \frac{R_T - R_C}{\sqrt{\frac{\mathbb{V}[R_T]}{n_T} + \frac{\mathbb{V}[R_C]}{n_C}}} \]

Вопрос: как оценить дисперсии \(R_T\) и \(R_C\)?

• Математическое ожидание

Для любой \(f(x, y)\) разложение Тейлора в окрестности точки \(\theta = (\theta_x, \theta_y)\)

\(f(x, y) = f(\theta) + f'_x(\theta)(x-\theta_x) + f'_y(\theta)(y-\theta_y) + R\)

где \(R\) - остаток меньшего порядка чем члены уравнения.

Положим \(\theta = (\mathbb{E}[X], \mathbb{E}[Y]) = (\mu_x, \mu_y)\)

Тогда:

\( \mathbb{E}[X] = \mathbb{E}\left[f(\theta) + f'_x(\theta)(X-\mu_x) + f'_y(\theta)(Y-\mu_y) + R\right] \approx \)

\( \approx \mathbb{E}[f(\theta)] + \mathbb{E}[f'_x(\theta)(X-\mu_x)] + \mathbb{E}[f'_y(\theta)(Y-\mu_y)]= \)

\( = \mathbb{E}[f(\theta)] + f'_x(\theta)\mathbb{E}[(X-\mu_x)] + f'_y(\theta)\mathbb{E}[(Y-\mu_y)]= \)

\( = \mathbb{E}[f(\theta)] + 0 + 0 = \)(Матожидание числа)=

\( = f(\mu_x, \mu_y) \)

Таким образом, для \(f = f(X, Y) = f_{X, Y}(x, y) = \frac{X}{Y}\) получаем \(\mathbb{E}[f(X, Y)] \approx \frac{\mu_x}{\mu_y}\)

• Дисперсия

Дисперсия по определению:

\[ \mathbb{V}[f(X, Y)] = \mathbb{E}\left\{[f(X, Y) - \mathbb{E}[f(X, Y)]]^2\right\} \]

Воспользуемся полученным приближением \(\mathbb{E}[f(X, Y)] \approx f(\theta)\):

\[ \mathbb{V}[f(X, Y)] = \mathbb{E}\left\{[f(X, Y) - f(\theta)]^2\right\} \]

Разложим в ряд Тейлора для \(f(X, Y)\) в окрестности точки \(\theta = (\mu_x, \mu_y)\):

\( \mathbb{V}[f(X, Y)] \approx \mathbb{E}\left\{ [f(\theta) + f'_x(\theta)(X-\mu_x) + f'_y(\theta)(Y-\mu_y) - f(\theta)]^2\right\} = \)

\( = \mathbb{E}\left\{ [f'_x(\theta)(X-\mu_x) + f'_y(\theta)(Y-\mu_y)]^2\right\} = \)

\( = \mathbb{E}\left\{ f'^2_x(\theta)(X-\mu_x)^2 + 2f'_x(\theta)(X-\mu_x)f'_y(\theta)(Y-\mu_y) + f'^2_y(\theta)(Y-\mu_y)^2\right\} = \)

\( = f'^2_x(\theta)\mathbb{V}[X] + 2f'_x(\theta)f'_y(\theta)cov(X, Y) + f'^2_y(\theta)\mathbb{V}[Y] \)

Вычислим производные для \(f(X, Y) = \frac{X}{Y}\)

\( f(x, y) = \frac{x}{y} \,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\, f'_x = \left.\frac{1}{y}\right|_{x=X, y=Y} = \frac{1}{Y} \,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,f'_y = \left.-\frac{x}{y^2}\right|_{x=X, y=Y} = -\frac{X}{Y^2} \)

Тогда в точке \(\theta = (\mu_x, \mu_y)\) получаем

\( f'^2_x(\theta) = \frac{1}{\mu_y^2} \,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,f'_y(\theta) = \frac{\mu_x^2}{\mu_y^4} \,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\, f'^2_x(\theta)f'_y(\theta) = -\frac{\mu_x}{\mu_y^3} \)

Подставив значения производных, получим итоговую формулу

\[ \boxed{\mathbb{V}\left[\frac{X}{Y}\right]=\frac{1}{\mu_y^2}\mathbb{V}[X] -2\frac{\mu_x}{\mu_y^3}cov(X, Y) + \frac{\mu_x^2}{\mu_y^4}\mathbb{V}[Y]} \]

Теперь можем вычислять t-статистику и p-value для ratio-метрик.

\[ t = \frac{R_T - R_C}{\sqrt{\frac{\mathbb{V}[R_T]}{n_T} + \frac{\mathbb{V}[R_C]}{n_C}}} \]

\[ R = \frac{X}{Y} \]

\[ \mathbb{V}\left[\frac{X}{Y}\right]=\frac{1}{\mu_y^2}\mathbb{V}[X] -2\frac{\mu_x}{\mu_y^3}cov(X, Y) + \frac{\mu_x^2}{\mu_y^4}\mathbb{V}[Y] \]

def delta_t_test(df_a, df_b, id_column='user_id', value_column='revenue'):
    def get_var(mu_x, mu_y, v_x, v_y, cov):
        return v_x/mu_y**2 - 2*mu_x*cov/mu_y**2 + mu_x**2/mu_y**4 * v_y
     
    df_a = df_a.groupby([id_column]).agg(revenue_sum=(value_column, 'sum'),
                                         session_count=(value_column, 'count')).reset_index()
    df_b = df_b.groupby([id_column]).agg(revenue_sum=(value_column, 'sum'),
                                         session_count=(value_column, 'count')).reset_index()

    r_a = df_a.revenue_sum.sum()/df_a.session_count.sum()
    mu_a_x, mu_a_y = df_a.revenue_sum.mean(), df_a.session_count.mean()
    v_a_x, v_a_y = df_a.revenue_sum.var(), df_a.session_count.var()
    cov_a = np.cov(df_a.revenue_sum, df_a.session_count)[0, 1]
    var_a = get_var(mu_a_x, mu_a_y, v_a_x, v_a_y, cov_a)

    r_b = df_b.revenue_sum.sum()/df_b.session_count.sum()
    mu_b_x, mu_b_y = df_b.revenue_sum.mean(), df_b.session_count.mean()
    v_b_x, v_b_y= df_b.revenue_sum.var(), df_b.session_count.var()
    cov_b = np.cov(df_b.revenue_sum, df_b.session_count)[0, 1]
    var_b = get_var(mu_b_x, mu_b_y, v_b_x, v_b_y, cov_b)
    t = (r_a - r_b)/math.sqrt(var_a/df_a.shape[0] + var_b/df_b.shape[0])
    p_value = 2 * (1 - stats.norm.cdf(abs(t)))
    return t, p_value


n_iter = 1000
alpha = 0.05

_, p_value_list = zip(*[delta_t_test(*gen_aa_data()) for _ in range(n_iter)])
p_value_list = np.array(p_user_list)

plot_pvalue_ecdf(p_value_list, title='A/A Дельта-метод для ratio-метрик')

Если считать статзначимость бутстрапом и дельта-методом на одинаковых выборках для разницы ratio-метрик, то p-value двух методов будут совпадать с достаточной точностью и иметь линейную зависимость с единичным угловым коэффициентом. Можно сказать, что значения p-value дельта-метода консистентны значениям, полученным с помощью бутстрапа. Соответственно, и на A/A-тестах дельта-метод дает равномерные распределения для ratio-метрик и не завышает ошибку 1-го рода.

Недостатки у подхода тоже есть. Так как мы не работаем напрямую с пользовательскими сигналами, то для ratio-метрик не получится использовать методы повышения чувствительности, т.е. в экспериментах для пользовательских конверсий и средних пользовательских метрик можно применить CUPED, для ratio-метрик — нет.

🔹Линеаризация

Пусть есть какая-то ratio-метрика вида:

\[ R_A = \frac{\sum_{u \in A} X(u)}{\sum_{u \in A} Y(u)} \]

• Линеаризованная пользовательская метрика будет выглядеть следующим образом:

\[ L(u) = X(u) - \alpha Y(u) \]

• Линеаризованная метрика:

\[ \mathcal{L}_A = avg_{u \in A} L(u) \]

Как найти \(\alpha\)?

Введем несколько теорем.

Направленность

Теорема

Пусть \(X\) и \(Y\) - пользовательские метрики, причем \(Y\) - положительная. \(R\) - ratio метрика, \(\mathcal{L}\) - линеаризованная метрика. Параметр \(\alpha\) определим как \(\alpha(\eta) = (1-\eta)R_A + \eta R_B, \,\,\,\, \eta \in \mathbb{R}\). Тогда разница метрик между группами связана следующим уравнением

\[ \Delta(\mathcal{L}) = ((1-\eta)Y_B + \eta Y_A)\Delta(R) \]

Доказательство:

При \(\eta=0\) получаем \(\alpha = R_A\) и \(\Delta(\mathcal{L}_{\alpha(0)}) = Y_B \Delta (R)\)

\[ \Delta(\mathcal{L}_{\alpha(0)}) - \Delta(X) - \alpha(0)\Delta(Y) = (X_B - X_A) - \left(\frac{X_A}{Y_A}\right)(Y_B - Y_A) = \]

\[ =X_B - \frac{X_A Y_B}{Y_A} = Y_B\left(\frac{X_B}{Y_B} - \frac{X_A}{Y_A}\right) = Y_B\Delta(R) \]

Аналогично, можно доказать \(\Delta(\mathcal{L}_{\alpha(1)}) = Y_A\Delta(R)\) при \(\eta=1\). Представим \(\mathcal{L}_{\alpha(\eta)}\) как линейную комбинацию \(\mathcal{L}_{\alpha(0)}\) и \(\mathcal{L}_{\alpha(1)}\):

\[ \Delta(\mathcal{L}_{\alpha(\eta)}) = \Delta(X) - ((1-\eta)R_A + \eta R_B) \Delta(Y) = \]

\[ =(1-\eta)\Delta(\mathcal{L}_{R_A}) + \eta \Delta(\mathcal{L}_{R_B}) = (1-\eta)Y_B\Delta(R) + \eta Y_A\Delta(R) \]

Следствие

Если \(\alpha \in [min\{R_A, R_B\}, max\{R_A, R_B\}]\), то

\( sgn\Delta(R) = sgn\Delta(\mathcal{L}) \)

Значимость

Оценка значимости

Для оценки значимости изменения линеаризованной метрики нужно построить ее распределение при условии того, что верна нулевая гипотеза.

\(\mathcal{L}\) - среднее значение линеаризованной метрики по объектам рандомизации, которые считаются независимыми.

Можно применить тест Стьюдента, он будет работать корректно при заранее фиксированном и независящем от наблюдений параметре \(\alpha\).

Проблема значимости данных

Если устанавливаем \(\alpha = R_A\), нарушается два ключевых условия критерия Стьюдента:

• Значения \(\mathcal{L_A}\) и \(\mathcal{L_B}\) не независимые;

• Значения внтури множеств \(\{L(u)|u \in V=A, B\}\) не независимые.

Тем не менее, есть ряд теорем, которые показывают, что критерий Стьюдента применим для \(\Delta(\mathcal{L})\).

Теорема Пусть \(X\) и \(Y\) - пользовательские метрики, причем \(Y\) - положительная. \(R\) - ratio метрика, \(\mathcal{L}\) - линеаризованная метрика с параметром \(\alpha = R_A\). Пусть \(T(\mathcal{L_A})\) - t-статистика для среднего метрики \(L\). \(D(R) = \Delta(R) / \sqrt{\delta(R_A) + \delta(R_B)}\) - ассимтотически стандартная нормальная статистика, полученная дельма методом, где \(\delta(R_A)\) и \(\delta(R_B)\) - дисперсии метрик \(R_A\) и \(R_B\), а \(\Delta(R) = R_B-R_A\)

• Тогда верно следующее тождество:

\[ T(\mathcal{L}) = D(R)\sqrt{1-\frac{\gamma}{\delta(R_A) + \delta(R_B) + \gamma}}, \]

где \(\gamma = (Y^2_A/Y^2_B-1)\delta(R_A) + \beta\) и \(\beta = \frac{\Delta(R)\left((R_A + R_B) \sigma^2_B(Y) - 2cov_B(X, Y)\right)}{|B|Y^2_B}\)

• Если выборочная корреляция ограничена \(|corr_B(X, Y)|\) < c < 1, то верно

\[ \left| \frac{T(\mathcal{L})}{D(R)}-1\right| \leq C_1(c)\left|\frac{\Delta X}{X_B}\right|+ C_2(c)\left|\frac{\Delta Y}{Y_B}\right| \]

При достаточно малых оносительных изменениях \(\left|\frac{\Delta X}{X_B}\right| < \varepsilon_1(c)\) и \(\left|\frac{\Delta Y}{Y_B}\right| < \varepsilon_2(c)\); где константы \(C_1(c), C_2(c), \varepsilon_1(c), \varepsilon_2(c)\) зависят только от границы \(c\).

• Если \(|corr(X, Y|B)| < c < 1\) и \(\mathbb{E}[X|A] \neq 0\), \(\mathbb{E}[Y|A] \neq 0\), то t-статистика \(T(\mathcal{L})\) ассимптотически нормальна при нулевой гипотезе.

Суть: Ассимптотически критерий Стьюдента для линеаризованной метрики работает корректно. На практике, относительные изменения метрик \(\frac{\Delta X}{X_B}\) и \(\frac{\Delta Y}{Y_B}\) невелики, не более нескольких процентов, в этом случае отличие между \(T(\mathcal{L})\) и \(D(R)\) того же порядка, а уровни значимости \(\Delta(\mathcal{L})\), рассчитанные с помощью критерия Стьюдента согласуются с уровнями значимости \(\Delta(R)\), полученными дельта-методом и бутсатрапом.

Алгоритм применения линеаризации

Алгоритм применения линеаризации для оценик результата AB теста, в котором в качестве основной метрики выступает метрика отношения

\[ R_A = \frac{\sum_{u \in A} X(u)}{\sum_{u \in A} Y(u)} \]

1. Для каждого пользователя, учавствовавшего в AB-тесте, вычислить линеаризованную метрику по формуле \(L(u) = X(u) - \alpha Y(u), \,\,\,\,\, \alpha = R_A\);

2. Опционально к полученной пользовательской метрике можно применить какие-либо способы повышения чувствительности;

3. Вычислить значение t-статистики критерия Стьюдента и соответствующее значение \(p_{value}\);

4. Принять решене согласно оговоренному до начала эксперимента правилу, основываясь на полученном значениее \(p_{value}\) и требуемом уровне значимости.

def linearization(df_a, df_b, id_column='user_id', value_column='revenue'):
    df_a = df_a.groupby([id_column]).agg(revenue_sum=(value_column, 'sum'),
                                         session_count=(value_column, 'count')).reset_index()
    df_b = df_b.groupby([id_column]).agg(revenue_sum=(value_column, 'sum'),
                                         session_count=(value_column, 'count')).reset_index()
    
    alpha = df_a.revenue_sum.sum()/df_a.session_count.sum()

    df_a['L'] = df_a.revenue_sum - alpha*df_a.session_count
    df_b['L'] = df_b.revenue_sum - alpha*df_b.session_count

    p = stats.ttest_ind(df_a.L, df_b.L, equal_var=False).pvalue
    return p
    
p_value_list = [linearization(*gen_aa_data()) for _ in range(1000)]
plot_pvalue_ecdf(p_value_list, title='A/A линеаризация для ratio-метрик')

А что за значения линеаризованных сигналов получились, как их воспринимать и как инерпритировать новую метрику?

К линеаризованным сигналам можно относиться как к единицам вклада в изменение ratio-метрики от начального значения в контроле до наблюдаемого в тесте. Этот тезис можно наглядно продемонстрировать на распределениях этих вкладов в экспериментальных группах.

Математическое ожидание линеаризованной метрики в контрольной группе всегда равняется нулю, т.е. суммарно в контроле вклада нет, так как относительно ratio-метрики в контроле и замеряем. В тестовой же группе будет какое-то другое среднее значение вкладов, либо положительное, либо отрицательное.

При этом линеаризованная метрика обладает рядом положительных особенностей.

Во первых, в отличии от предусредненного среднего, разница линеаризованных метрик всегда сохраняет сонаправленность с изменением в целевой ratio-метрике. Например, если в эксперименте CTR вырос или упал, то линеаризованный CTR всегда изменится в ту же сторону. (По теореме выше)

Во вторых, линеаризованные пользовательские сигналы уже можно считать независимыми и для них определять статзначимость t-тестом. При этом, значения p-value для линеаризованной метрики будут консистентны значениям, полученным с помощью дельта-метода на исходной ratio-метрике. Это значит, что дельта-метод можно заменить линеаризацией и получать одинаковые значения p-value с достаточной точностью. Соответственно и на А/А-тестах линеаризация показывает корректные результаты.

В третьих, линеаризация позволяет использовать методы повышения чувствительности на ratio-метриках, чтобы уменьшать размеры экспериментальных групп для обнаружения эффектов или чтобы увеличивать мощность в наблюдаемых результатах. Например, чтобы использовать CUPED для ratio-метрики, необходимо ее линеаризовать и линеаризовать соответствующие сигналы на предэкспериментальном периоде. Получатся две средние пользовательские метрики, к которым уже можно применить CUPED.