🟦Вероятностное пространство#
Вероятностное пространство — это математическая модель случайного эксперимента.
Оно описывается тройкой:
где:
\( \Omega \) — пространство элементарных исходов,
\( \mathcal{F} \) — σ-алгебра событий из \( \Omega \),
\( P \) — вероятностная мера.
🔹Пространство элементарных исходов \( \Omega \)#
\(\Omega\) — это множество всех возможных исходов случайного эксперимента.
Свойства:
\( \Omega \neq \varnothing \) — множество не пусто.
Каждый элемент \( \omega \in \Omega \) — отдельный возможный исход эксперимента.
Примеры:
Подбрасывание монеты: \( \Omega = \{\text{О}, \text{Р}\} \).
Подбрасывание кубика: \( \Omega = \{1,2,3,4,5,6\} \).
🔹σ-алгебра событий \( \mathcal{F} \)#
\(\mathcal{F}\) — это набор подмножеств множества \(\Omega\), который удовлетворяет аксиомам σ-алгебры.
Элементы \(\mathcal{F}\) называются событиями.
Свойства σ-алгебры:
\( \Omega \in \mathcal{F} \).
Если \( A \in \mathcal{F} \), то \( A^c \in \mathcal{F} \) (замкнутость относительно дополнения).
Если \( A_1, A_2, A_3, \dots \in \mathcal{F} \), то \( \bigcup_{i=1}^\infty A_i \in \mathcal{F} \text{ или }\bigcap_{i=1}^\infty A_i \in \mathcal{F} \)(замкнутость относительно счётного объединения/пересечения).
Пример:
Пусть \(\Omega = [0, 1]\). Привести пример \(\sigma\)-алгебр, содержащих множества \([0, \frac{2}{3}]\) и \([\frac{1}{3}, 1]\)
Ответ: \(\mathcal{F} = \{\Omega, \varnothing, [0, \frac{2}{3}], (\frac{2}{3}, 1], [\frac{1}{3}, 1], [0, \frac{1}{3}), [\frac{1}{3}, \frac{2}{3}], [0, \frac{1}{3}) \cap (\frac{2}{3}, 1]\}\)
🔹Вероятностная мера \( P \)#
\( P \) — это функция, которая каждой событию \( A \in \mathcal{F} \) ставит в соответствие число \( P(A) \) — вероятность этого события.
Свойства вероятностной меры:
\( P(\varnothing) = 0 \)
\( P(\Omega) = 1 \)
\( P(A) \geq 0 \quad \forall A \in \mathcal{F} \)
Если \( A_1, A_2, \dots \) — попарно несовместные события, то \( P\left( \bigcup_{i=1}^{\infty} A_i \right) = \sum_{i=1}^{\infty} P(A_i) \)
Пример: Подбрасываем честную монету.
\( \Omega = \{\text{О}, \text{Р}\} \)
\( \mathcal{F} = \{\varnothing, \{\text{О}\}, \{\text{Р}\}, \{\text{О}, \text{Р}\}\} \)
\( P(\{\text{О}\}) = 0.5 \), \( P(\{\text{Р}\}) = 0.5 \), \( P(\varnothing) = 0 \), \( P(\Omega) = 1 \).
🟦Условная вероятность, формула полной вероятности и формула Байеса. Независимость событий#
📎 Идея: иногда нас интересует вероятность события \( A \), если мы уже знаем, что произошло событие \( B \).
Именно для этого вводится условная вероятность.
🔹Условная вероятность#
Пусть \( (\Omega, \mathcal{F}, P) \) — вероятностное пространство, а \( A \) и \( B \) — события.
Если \( P(B) > 0 \), то условная вероятность события \( A \) при условии, что произошло \( B \), определяется как:
Свойства условной вероятности:
\( 0 \leq P(A \mid B) \leq 1 \)
\( P(\Omega \mid B) = 1 \)
\( P(\overline{A}\mid B) + P(A \mid B) = 1 \)
\(\boxed{P(A) = P(A\overline{B}) + P(AB)}\)
Если события \( A \) и \( B \) независимы, то \(P(A \mid B) = P(A).\)
Пример:
— Подбрасываем кубик.
— \( A = \) «выпало чётное», \( B = \) «выпало больше 3».
🔹Формула полной вероятности#
Пусть события \( B_1, B_2, \dots, B_n \) образуют разбиение пространства \(\Omega\), то есть:
\( B_i \cap B_j = \varnothing \) при \( i \neq j \),
\( \bigcup_{i=1}^n B_i = \Omega \),
\( P(B_i) > 0 \).
Тогда для любого события \( A \):
Пример:
— В урне лежат шары из 3-х ящиков. Вероятность выбрать ящик 1,2,3 — соответственно \( 0.2, 0.5, 0.3 \).
— Вероятность достать белый шар из ящиков 1,2,3 — \( 0.1, 0.5, 0.9 \).
🔹Формула Байеса#
Если события \( B_1, B_2, \dots, B_n \) образуют разбиение \(\Omega\), а \( A \) — событие, для которого \( P(A) > 0 \), то:
Интерпретация:
\( P(B_k) \) — «априорная» вероятность гипотезы \( B_k \),
\( P(B_k \mid A) \) — «апостериорная» вероятность гипотезы после того, как мы узнали, что произошло \( A \).
Пример (медицинский тест):
— Болезнь встречается у 1 % людей.
— Тест даёт положительный результат в 99 % случаев, если болезнь есть.
— Вероятность ложноположительного — 5 %.
Вывод: положительный тест не означает почти 100 % шанс болезни — апостериорная вероятность 16.7 %.
🔹Независимость событий#
Два события \(A\) и \(B\) называются независимыми, если вероятность их совместного наступления равна произведению вероятностей каждого из них:
Интуиция:
Знание того, что событие \(B\) произошло, не влияет на вероятность события \(A\), и наоборот.
Эквивалентная форма через условную вероятность:
при \(P(B) > 0\) и \(P(A) > 0\).
События \(A_1, A_2, \dots, A_n\) называются попарно независимыми, если для любых \(i \neq j\):
⚠️ Попарная независимость не гарантирует независимость всей совокупности событий.
События \(A_1, A_2, \dots, A_n\) называются независимыми в совокупности, если для любого подмножества индексов \(\{i_1, i_2, \dots, i_k\}\):
📎 Это более строгое условие, чем попарная независимость.
🟦 Случайная величина #
🔹 Определение#
Пусть \((\Omega, \mathcal{F}, P)\) – вероятностное пространство.
Случайной величиной \(X\) на \((\Omega, \mathcal{F}, P)\) называется измеримое отображение из \(\Omega\) в \(\mathbb{R}\):
Отображение \(X : \Omega \rightarrow \mathbb{R}\) называется измеримым, если для любого борелевского множества \(B \in \mathbb{R}\) имеет прообраз
Борелевское множество - элемент борелевской \(\sigma\) - алгебры.
Борелевское \(\sigma\)-алгебра \(\mathcal{B}\) - наименьшая \(\sigma\) - алгебра, содержащая все открытые подмножества множества \(\mathbb{R}\).
Пример 1:
Пусть \(\Omega = [0, 1]\) и сл.в. \(X(w) = 2025\) с тривиальной \(\mathcal{F} = \{\varnothing, \Omega\}\)
Если \(2025 \in B\), тогда \(X^{-1}(B) = \Omega \in \mathcal{F}\)
Если \(2025 \notin B\), тогда \(X^{-1}(B) = \varnothing \in \mathcal{F}\)
Пример 2:
Пусть \(\Omega = [0, 1]\) и сл.в. \( X(\omega) = \begin{cases} 2025, w<\frac{1}{2}\\ 2026, w \geq \frac{1}{2} \end{cases} \) с тривиальной \(\mathcal{F} = \{\varnothing, \Omega\}\) и \(B = (2024, 2025]\)
\(X^{-1}(B) = [0, \frac{1}{2}) \notin \mathcal{F}\) т.к. только 2025 принадлежит нашему \(B\).
🟦 Дискретная случайная величина#
Случайная величина \(X\) называется дискретной, если множество её значений конечно или счётно, то есть \(X(\Omega) = \{ x_1, x_2, x_3, \dots \}.\)
Для каждого возможного значения \(x_i\) определена вероятность \(p_i = P(X = x_i),\) причём
Свойства
Для дискретной случайной величины задаётся закон распределения — таблица или список пар \((x_i, p_i)\).
Вероятность того, что \(X\) принимает значение из множества \(A \subseteq X(\Omega)\), равна
🔹 Математическое ожидание дискретной случайной величины#
Математическим ожиданием дискретной случайной величины \(X\) называется число
если соответствующий ряд сходится абсолютно.
📎 Математическое ожидание — это среднее значение, которое случайная величина принимает в долгосрочной перспективе.
Свойства:
\(\mathbb{E}[c] = c\) для любой константы \(c\).
\(\mathbb{E}[aX + b] = a \, \mathbb{E}[X] + b\).
\(\mathbb{E}[X + Y] = \mathbb{E}[X] + \mathbb{E}[X]\), если \(\mathbb{E}[X]\) и \(\mathbb{E}[Y]\) существуют.
Если \(X\) и \(Y\) независимы, то \(\mathbb{E}[XY] = \mathbb{E}[X] \cdot \mathbb{E}[Y]\).
Пусть \(g: \mathbb{R} \rightarrow \mathbb{R}\) - борелевская ф-ция и \( \exists \mathbb{E}[g(X)] \), тогда \(\mathbb{E}[g(X)] = \sum\limits_{i=1}^{\infty} g(a_i)p_i\)
🔹Дисперсия дискретной случайной величины#
Дисперсией случайной величины \(X\) называется число
Для дискретного случая:
📎 Дисперсия измеряет разброс значений случайной величины относительно её среднего.
Свойства:
\(\mathrm{Var}(X) = \mathbb{E}[X^2] - (\mathbb{E}[X])^2\).
\(\mathrm{Var}(cX + b) = c^2 \, \mathrm{Var}(X)\).
\( \mathrm{Var}(X + Y) = \mathbb{E}\bigl[(X-\mathbb{E}[X]) + (Y-\mathbb{E}[Y])\bigl]^2 = \) \(\mathbb{E}\bigl[X-\mathbb{E}[X]\bigl]^2 + \mathbb{E}\bigl[Y-\mathbb{E}[Y]\bigl]^2 + 2\,\mathbb{E}\bigl[(X-\mathbb{E}[X])(Y-\mathbb{E}[Y])\bigl] = \\ =\mathrm{Var}(X) + \mathrm{Var}(Y) + 2 \,cov(X, Y). \)
Если \(X\) и \(Y\) независимы, то \(\mathrm{Var}(X + Y) = \mathrm{Var}(X) + \mathrm{Var}(Y)\).
🔹Независимость случайных величин#
Случайные величины \(X\) и \(Y\) называются независимыми, если \(\forall i, j\) выполняется
📎 Иначе говоря, знание значения одной случайной величины не влияет на распределение другой.
Случайные величины \(X_1, X_2, \dots, X_n\) называются независимыми в совокупности, если для любых значений \(a_1, a_2, \dots, a_n\) события
независимы, то есть
где \(A_i\) — любые множества значений, для которых рассматриваются события.
📎 Проще говоря: знание значений любых из этих случайных величин не влияет на вероятности для остальных.
Случайные величины \(X_1, X_2, \dots, X_n\) независимы тогда и только тогда, когда их совместная функция распределения раскладывается в произведение одномерных функций распределения:
где \(F_{X_i}(x) = P(X_i \leq x)\).
Если случайные величины \(X_1, X_2, \dots, X_n\) имеют совместную плотность распределения \(f_{X_1, X_2, \dots, X_n}(x_1, x_2, \dots, x_n)\) и индивидуальные плотности \(f_{X_i}(x_i)\), то они независимы тогда и только тогда, когда
📎 В этом случае знание одной величины не меняет плотность другой.
📎Замечания:
Независимость в совокупности ⇒ попарная независимость, но не наоборот.
Если случайные величины независимы в совокупности, то их совместное распределение полностью факторизуется через индивидуальные распределения.
🔹Ковариация случайных величин#
Ковариацией случайных величин \(X\) и \(Y\) называется величина
📎 Ковариация показывает, как связаны совместные отклонения случайных величин от их средних значений.
Альтернативная форма:
Свойства:
\(\mathrm{Cov}(X, X) = \mathrm{Var}(X)\).
\(\mathrm{Cov}(X, Y) = \mathrm{Cov}(Y, X)\).
\(\mathrm{Cov}(aX + b, Y) = a \, \mathrm{Cov}(X, Y)\), где \(a,b \in \mathbb{R}\).
\(\mathrm{Cov}(aX + bY, Z) = a \, \mathrm{Cov}(X, Z) + b \, \mathrm{Cov}(Y, Z)\), где \(a,b \in \mathbb{R}\).
Если \(X\) и \(Y\) независимы, то \(\mathrm{Cov}(X, Y) = 0\) (но обратное не всегда верно).
🔹Коэффициент корреляции#
Коэффициент корреляции (коэффициент Пирсона) между случайными величинами \(X\) и \(Y\) определяется как
📎 Корреляция измеряет степень линейной зависимости между случайными величинами.
Свойства:
\(-1 \leq \rho_{X,Y} \leq 1\).
\(\rho_{X,Y} = 0\) ⇏ независимость (кроме специальных случаев, например, нормального распределения).
\(\rho_{X,Y} = 1\) или \(\rho_{X,Y} = -1\) означает линейную зависимость: \(Y = aX + b\).
Корреляция не зависит от линейных преобразований вида \(aX + b\).
🔹 Основные дискретные распределения#
№ |
Распределение |
Обозначение |
Функция вероятности |
\(\mathbb{E}[X]\) |
\(\mathrm{Var}(X)\) |
Когда возникает 📎 |
|---|---|---|---|---|---|---|
1 |
Бернулли |
\(X \sim \mathrm{Bern}(p)\) |
\(P(X = x) = p^x (1 - p)^{1 - x}\), \(x \in \{0, 1\}\) |
\(p\) |
\(p(1 - p)\) |
Один эксперимент с двумя исходами: успех (1) или неудача (0). Например: бросок монеты — «орёл» или «решка». |
2 |
Биномиальное |
\(X \sim \mathrm{Bin}(n, p)\) |
\(P(X = k) = \binom{n}{k} p^k (1 - p)^{n - k}\), \(k = 0, \dots, n\) |
\(np\) |
\(np(1 - p)\) |
Количество успехов в \(n\) независимых испытаниях с одинаковой вероятностью успеха \(p\). Например: 10 подбрасываний монеты. |
3 |
Геометрическое |
\(X \sim \mathrm{Geom}(p)\) |
\(P(X = k) = (1 - p)^{k - 1} p\), \(k = 1, 2, \dots\) |
\(\frac{1}{p}\) |
\(\frac{1 - p}{p^2}\) |
Сколько испытаний нужно до первого успеха. Например: сколько бросков, чтобы впервые выпал «орёл». |
4 |
Отрицательное биномиальное |
\(X \sim \mathrm{NegBin}(r, p)\) |
\(P(X = k) = \binom{k - 1}{r - 1} p^r (1 - p)^{k - r}\), \(k = r, r+1, \dots\) |
\(\frac{r}{p}\) |
\(\frac{r(1 - p)}{p^2}\) |
Количество испытаний до \(r\)-го успеха. Например: сколько бросков нужно, чтобы «орёл» выпал 3 раза. |
5 |
Пуассона |
\(X \sim \mathrm{Pois}(\lambda)\) |
\(P(X = k) = \frac{\lambda^k e^{-\lambda}}{k!}\), \(k = 0, 1, 2, \dots\) |
\(\lambda\) |
\(\lambda\) |
Количество событий за фиксированный промежуток времени при постоянной интенсивности. Например: число машин, проехавших за минуту. |
6 |
Равномерное дискретное |
\(X \sim U\{a, b\}\) |
\(P(X = k) = \frac{1}{b - a + 1}\), \(k = a, \dots, b\) |
\(\frac{a + b}{2}\) |
\(\frac{(b - a + 1)^2 - 1}{12}\) |
Все значения равновероятны. Например: равновероятный бросок игральной кости от 1 до 6. |
7 |
Гипергеометрическое |
\(X \sim \mathrm{Hyper}(N, K, n)\) |
\(P(X = k) = \frac{\binom{K}{k} \binom{N - K}{n - k}}{\binom{N}{n}}\), \(k = 0, \dots, \min(K, n)\) |
\(n \frac{K}{N}\) |
\(n \frac{K}{N}\frac{N - K}{N}\frac{N - n}{N - 1}\) |
Количество успехов в выборке без возвращения. Например: достаём 5 карт из колоды и считаем, сколько из них червовых. |
8 |
Бета-биномиальное |
\(X \sim \mathrm{BetaBin}(n,\alpha,\beta)\) |
\(P(X = k) = \binom{n}{k} \frac{B(k+\alpha, n-k+\beta)}{B(\alpha,\beta)}\) |
\(n\frac{\alpha}{\alpha+\beta}\) |
\(n\frac{\alpha\beta(\alpha+\beta+n)}{(\alpha+\beta)^2(\alpha+\beta+1)}\) |
Как биномиальное, но вероятность успеха \(p\) сама случайна (следует бета-распределению). Например: неопределённый шанс выпадения «орла». |
9 |
Мультиномиальное |
\(\mathbf{X} \sim \mathrm{Mult}(n, \mathbf{p})\) |
\(P(\mathbf{x}) = \frac{n!}{x_1! \cdots x_k!} p_1^{x_1} \cdots p_k^{x_k}\) |
\(n p_i\) |
\(n p_i (1 - p_i)\) |
Распределение количества исходов по \(k\) категориям. Например: 10 бросков кубика и сколько раз выпало каждое число. |
📎 Пояснения к параметрам:
\(p\) — вероятность успеха;
\(n\) — количество испытаний;
\(r\) — количество успехов;
\(\lambda\) — интенсивность потока событий;
\(N\) — размер генеральной совокупности;
\(K\) — число «успехов» в популяции;
\(\alpha, \beta\) — параметры бета-распределения;
\(\mathbf{p} = (p_1, \dots, p_k)\) — вероятности для мультиномиального распределения.
📎 Замечание:
Бернулли — минимальный кирпичик
Биномиальное — сумма Бернулли
Геометрическое — «ждём первый успех»
Отрицательное биномиальное — «ждём несколько успехов»
Пуассон — «редкие события»
Гипергеометрическое — «без возвращения»
Бета-биномиальное — «неизвестная вероятность успеха»
Мультиномиальное — «много исходов, много категорий».
🟦 Предельные теоремы#
🔹 Теорема Пуассона#
Если \(n\) — большое, а \(\lambda = np < 10\), то
причём разница между этими значениями \(\leq np^2\)
🔹 Локальная теорема Муавра–Лапласа#
Если \(n\) — большое, \(np > 10\), \(n(1 - p) > 10\), то
где \(q = 1 - p\), \( \varphi(x) = \frac{1}{\sqrt{2\pi}} e^{-\frac{x^2}{2}}.\)
🔹 Интегральная теорема Муавра–Лапласа#
Если \(n\) — большое, \(np > 10\), \(n(1 - p) > 10\), то
где \( \Phi_0(x) = \frac{1}{\sqrt{2\pi}} \int\limits_0^x e^{-\frac{t^2}{2}} \, dt.\)
📎 Если \(x > 5\), то \( P(0 < x) \approx 0.\)
Пример 1:
\(p = 0.005\) — процент брака
\(n = 1000\) — количество деталей
\(\lambda = np = 5\)
Используем теорему Пуассона:
Пример 2:
\(p = 0.75\), \(k = 80\)
\(n = 100\), \(np = 75\)
Пример 3:
\(n = 900\), \(p = 0.1, P\left(\left|\frac{m}{900} - 0.1\right| \leq \varepsilon \right) \approx 0.95\)
Т.к. \(\Phi\) нечетная, то
Выражаем отсюда \(\varepsilon\):
Подставляем в \(P\left(\left|\frac{m}{900} - 0.1\right| \leq \varepsilon \right) \approx 0.95\) и находим \(m\). В результате, получим, что \(m\in[73, 107]\)