Принцип практической уверенности.
Закон больших чисел.
Лемма Чебышева.
Неравенство Чебышева.
Теорема Чебышева и её следствия.
Теорема Бернулли.
Замечания о содержании закона больших чисел.
Центральная предельная теорема.
Оценка отклонения теоретического распределения от нормального. Асимметрия и эксцесс..
Пример 1.
Пример 2.
Двумерные распределения и их условные законы.
Вопросы для самопроверки.

Принцип практической уверенности

Если в определённых условиях данного опыта вероятность события мала, то при однократной реализации данного опыта можно быть уверенным в том, что это событие не произойдёт, и в практической деятельности поступать так, как будто оно является невозможным.
Вероятность, которой решено пренебрегать в данном исследовании, называется уровнем значимости.

Закон больших чисел

Под законом больших чисел понимается совокупность предложений, в которых утверждается, что с вероятностью, как угодно близкой к единице, отклонение средней арифметической достаточно большого числа случайных величин от постоянной величины – средней арифметической их математических ожиданий – не превзойдёт заданного как угодно малого числа ε > 0.

Лемма Чебышева

Если среди значений случайной величины Х нет отрицательных, то вероятность того, что она примет какое-нибудь значение, превосходящее положительное число А, не больше дроби, числитель которой – математическое ожидание случайной величины, а знаменатель – число А.
Доказательство. Пусть известен закон распределения случайной величины Х ; P ( X = x_i ) = p_i ( i = 1, 2, … n ), причём значения случайной величины расположены в возрастающем порядке. По отношению к числу А значения случайной величины разбиваются на две группы: одни не превосходят А, а другие больше А. Предположим, что к первой группе относятся первые k значений случайной величины x₁ p₁ + x₂ p₂ + … + x_k p_k + x_k+1 p_k+1 + … + x_n p_n = M (X). Отбрасывая первые слагаемые, поскольку они положительные, имеем x_k+1 p_k+1 + … + x_n p_n ≤ M (X).Далее A ( p_k+1 + … + p_n) ≤ x_k+1 p_k+1 + … + x_n p_n ≤ M (X), откуда имеем, поскольку А > 0,

Неравенство Чебышева

Вероятность того, что отклонение случайной величины от её математического ожидания превзойдёт по абсолютной величине положительное число ε не больше дроби, числитель которой – дисперсия случайной величины, а знаменатель – квадрат ε.
Доказательство. Пусть Х – данная случайная величина и а – её математическое ожидание. Тогда (Х – а)² – случайная величина, которая не принимает отрицательных значений. Поэтому для оценки вероятности выполнения неравенства (Х – а)² > ε ² можно применить лемму Чебышева, считая в нём А = ε ²,

. Так как неравенства (Х – а)² > ε ² и |Х – а | > ε эквивалентны, а М(Х – а)², по определению, – есть дисперсия случайной величины Х, то имеет место оценка

, что и требовалось доказать.
События | Х – А| ≤ ε и |Х – A| > ε – противоположные. Поэтому P (|X – a | ≤ ε) = 1 - P( | X – a | > ε) ≥ 1 –

. Это является второй формой неравенства Чебышева. Вероятность того, что отклонение случайной величины от её математического ожидания не превзойдёт по абсолютной величине положительного числа ε, не меньше разности между единицей и дробью, числитель которой – дисперсия случайной величины, а знаменатель – квадрат ε.

Теорема Чебышева и её следствия

Теорема. Если дисперсии независимых случайных величин Х₁, Х₂, …,Х_n ограничены одной и той же постоянной С, а число их достаточно велико, то как угодно близка к единице вероятность того, что отклонение средней арифметической этих случайных величин от средней арифметической их математических ожиданий не превзойдёт по абсолютной величине данного положительного числа ε, как бы мало оно ни было.
Доказательство. Применим неравенство Чебышева к случайной величине Х, являющейся средней арифметической случайных величин Х₁, Х₂, …, Х_n:

. Для этого необходимо найти её математическое ожидание и дисперсию:

где a₁, a₂, … , a_n – математические ожидания случайных величин Х₁, Х₂, …, Х_n. Используя свойства дисперсии случайной величины Х, найдём

Подставляя найденные величины в неравенство Чебышева, получим

. Из этого неравенства можно увидеть справедливость теоремы Чебышева.
Следствие 1. Если независимые случайные величины имеют одинаковые, равные а, математические ожидания, дисперсии их ограничены одной и той же постоянной С, а их число достаточно велико, то, сколько бы мало ни было данное положительное число ε, как угодно близка к единице вероятность того, что отклонение средней арифметической этих случайных величин от а не превзойдёт по абсолютной величине ε.
Действительно, средняя арифметическая математических ожиданий данных случайных величин:

. Все условия теоремы Чебышева выполнены, поэтому имеет место оценка

, как бы малы постоянные ε и δ ни были, если только число случайных величин достаточно велико. По закону больших чисел средняя арифметическая достаточно большого числа измерений практически будет как угодно мало отличаться от истинного значения искомой величины.

Теорема Бернулли

Если вероятность р наступления события А в каждом из n независимых испытаний постоянна, а число испытаний достаточно велико, то сколь угодно близка к единице вероятность того, что частость события А будет как угодно мало отличаться от его вероятности.
Доказательство. Частость события А рассматривается как средняя арифметическая случайных величин Х₁, Х₂, …, Х_n, выражающих число наступления события А в определённых испытаниях. Их математические ожидания равны р, дисперсии равны pq, а поэтому ограничены числом pq. Тогда, согласно следствию 1, имеем:

Замечания о содержании закона больших чисел

Закон больших чисел – одно из выражений диалектической связи между случайностью и необходимостью. Этот закон лежит в основе различных видов страхования; учитывается при планировании ассортимента товаров широкого потребления.

Центральная предельная теорема

Известно, что нормально распределенные величины широко распространены на практике. Чем это объясняется? Ответ на вопрос был дан выдающимся русским математиком А. М. Ляпуновым (центральная предельная теорема): если случайная величина представляет собой сумму очень большого числа взаимно независимых случайных величин, влияние каждой из которых на всю сумму ничтожно мало, то имеет распределение, близкое к нормальному.
Пусть производиться измерение некоторой физической величины. Любое измерение дает лишь приближенное значение измеряемой величины, так как не результат измерения влияют очень многие независимые случайные факторы. Каждый из этих факторов поражает ничтожную частную ошибку. Однако, поскольку число этих факторов очень велико, их совокупное действие порождает уже заметную суммарную ошибку.
Рассматривая суммарную ошибку как сумму очень большого числа взаимно независимых частных ошибок, мы вправе заключить, что суммарная ошибка имеет распределение, близкое к нормальному. Опыт подтверждает справедливость такого заключения.
Вероятностные закономерности выявляются при большом числе повторённых опытов.
Теорема (центральная предельная теорема в форме А.А. Ляпунова). Если последовательность попарно независимых случайных величин ξ₁, ξ₂, … , ξ_n, … удовлетворяет условию

, то

. Смысл первого условия заключается в том, что в сумме

«ни одно из слагаемых не доминирует». Смысл вывода заключается в том, что при больших n случайная величина

распределена по нормальному закону с математическим ожиданием «ноль» и дисперсией единица.
Если случайные величины имеют равные математические ожидания и дисперсии М( ξ_k) = m и D( ξ_k) = σ², тогда при больших n имеем

. При указанных условиях соотношение для μ примет вид

. Поэтому, при a > 0

Замечание. Для доказательства центральной теоремы А.М Ляпунов использовал аппарат характеристических функций. Характеристической функцией случайной величины X называют функцию φ (t)=M [e ^{i t X}].
Для дискретной случайной величины X с возможными значениями x_k и их вероятностями p_k характеристическая функция

Для непрерывной случайной величины X с плотностью распределения f (x) характеристическая функция

Можно доказать, что характеристическая функция суммы независимых случайных величин равна произведению характеристических функций слагаемых.

Оценка отклонения теоретического распределения от нормального.
Асимметрия и эксцесс

Эмпирическим называют распределения относительных частот. Эмпирические распределения изучает математическая статистика.
Теоретическим называют распределения вероятностей. Теоретические распределения изучает теория вероятностей. В этом параграфе рассматриваются теоретические распределения.
При изучении распределений, отличных от нормального, возникает необходимость количественно оценить это различие. С этой целью вводят специальные характеристики, а частности асимметрию и эксцесс. Для нормального распределения эти характеристики раны нулю. Поэтому если для изучаемого распределения асимметрия и эксцесс имеют небольшие значения, то можно предположить близость этого распределения к нормальному. Наоборот, большие значения асимметрии и эксцесса указывают на значительные отклонения от нормального.
Как оценить асимметрию? Можно доказать, что для симметричного распределения (график такого распределения симметричен относительно прямой x = M(x)) каждый центральный момент нечетного порядка равен нулю. Для несимметричных распределений центральные моменты нечетного порядка отличны от нуля. Поэтому любой из этих моментов (кроме момента первого порядка, который равен нулю для любого распределения) может служить для оценки симметрии; естественно выбрать простейший из них, т. е. момент третьего порядка µ₃. Однако этот момент для оценки асимметрии неудобно поэтому, что его величина зависит от единиц, в которых измеряется случайная величина. Чтобы устранить этот недостаток, µ₃ делят на σ³ и таким образом получают безразмерную характеристику.
Асимметрией теоретического распределения называют отношение центрального момента третьего порядка к кубу среднего квадратического отклонения:

Асимметрия положительна, если длинная часть кривой распределения расположена правее моды. Асимметрия отрицательна, если длинная часть кривой распределения расположена левее моды.
Для оценки крутости, т. е. большего или меньшего подъема кривой теоретического распределения по сравнению с нормальной кривой, пользуются характеристикой - эксцессом.
Эксцессом теоретического распределения называют характеристику, которая определяется равенством

Для нормального распределения

, следовательно, эксцесс равен нулю. Поэтому если эксцесс отличен от нуля, то кривая этого распределения отличается от нормальной кривой: если эксцесс положительный, то кривая имеет более высокую и острую вершину, чем нормальная кривая; если эксцесс отрицательный, то сравнимая кривая имеет более низкую и острую вершину, чем нормальная кривая, при этом предполагается, что нормальное и теоретическое распределение имеют одинаковые математические ожидания и дисперсии.

Пример 1

Пусть всхожесть семян некоторого растения составляет 70 %. Используя неравенство Чебышева, оценить вероятность того, что при посеве 10000 семян отклонение доли взошедших от вероятности того, что взойдёт, каждое из них не превзойдёт по абсолютной величине 0,01.
Решение. Частость события в n независимых испытаниях является случайной величиной. Математическое ожидание её равно вероятности р наступления события в каждом испытании, а дисперсия равна pq/n. Поэтому неравенство Чебышева для частости события имеет вид

. При p = 0,7; q = 0,3; n = 10000 и ε = 0,01 находим

Пример 2

Сколько слагаемых в теореме Чебышева надо взять, чтобы с надёжностью 96 % и точностью α = 0,01 для σ = 1 выполнялось приближённое равенство

? В нашем случае

, то есть

. По таблице находим Φ (2,06)=0,480301. Следовательно,

, и

Двумерные распределения и их условные законы

Двумерную величину (Х, Y) можно рассматривать как случайный вектор или точку плоскости со случайными координатами (X, Y). Дискретная случайная величина задается таблицей распределения нижеследующего вида.

X Y	x₁	x₂	…	x_i	…	x_n
y₁	p (x₁, y₁)	p (x₂, y₁)	…	p (x_i, y₁)	…	p (x_n, y₁)	p (y₁)
y₂	p (x₁, y₂)	p (x₂, y₂)	…	p (x_i, y₂)	…	p (x_n, y₂)	p (y₂)
…	…	…	…	…	…	…	…
y_j	p (x₁, y_j)	p (x₂, y_j)	…	p (x_i, y_j)	…	p (x_n, y_j)	p (y_j)
…	…	…	…	…	…	…	…
y_m	p (x₁, y_m)	p (x₂, y_m)	…	p (x_i, y_m)	…	p (x_n, y_m)	p (y_m)
	p (x₁)	p (x₂)	…	p (x_i)	…	p (x_n)

В этой таблице в клетке с координатами (x_i, y_j) указывается вероятность p (x_i, y_j) (i = 1, 2, …, n; j = 1, 2, …, m того, что в результате испытания случайная величина X примет значение x_i, и вместе с этим случайная величина Y примет значение y_j, так что p (x_i, y_j) = p ( X = x_i, Y = y_j). Предполагается, что все комбинации (X = x_i и Y = y_j) составляют полную группу событий и потому сумма вероятностей, стоящих в таблице равна единице, т. е.

. Если просуммируем все вероятности, стоящие в i-м столбце, то образуем сумму

. Таким же образом, суммируя вероятности в строке номер j, найдем:

Тем самым одномерные законы или таблицы распределения каждой величины X и Y в отдельности полностью определяются, если известна таблица распределения двумерной величины.
Зависимость между двумя случайными событиями сказывается в том, что условная вероятность одного события при наступлении другого события отличается от безусловной вероятности этого события. Для исследования влияния одной величины на изменение другой величины, рассматривают условные законы распределения первой величины при фиксированных значениях второй величины. Пусть величина Х получила одно из своих значений X = x_i; при этом другая величина Y может принять, вообще говоря, любое из своих возможных значений y₁, y₂, …, y_j, …, y_m, однако вероятности этих значений будут отличаться от вероятностей p (y₁), p ( y₂), …, p (y_j), …, p (y_m).
Условная вероятность события Y = y_j, если наблюдалось событие X = x_i, будет равна

. Совокупиость условных вероятностей

, отвечающих одному и тому же условию X = x_i, называют условным распределением Y при X = x_i. Заметим, что сумма условных вероятностей, как это и должно быть, равна единице, т. е.

. Наиболее важной характеристикой является условное математическое ожидание М (Y/x) величины Y при фиксированном значении Х = х, где X может равняться x₁, x₂, …, x_n. Это математическое ожидание определяется равенством

, где x — одно из значений x₁, x₂, …, x_i. Аналогично вводится условная дисперсия и условные моменты более высоких порядков.
Можно выражению М(Y/x) придать вид

. Последнее выражение позволяет истолковать M(Y/x) как центр масс p (x_i, y_j), расположенных на вертикальной прямой X = x = const и имеющих ординаты y_j( j = 1, 2, …, m). С изменением х, т. е. при переходе от одного столбца таблицы к другому, изменяется и M(Y/x). Мы можем, следовательно, рассматривать функцию M(Y/x) = y(x) (определенную для значений х = x₁, x₂, …, x_n. Эта функция носит название регрессии Y по Х.
Хотя при каждом значении Х = х величина Y остается случайной величиной, допускающей вариацию (рассеивание) своих значений, однако зависимость Y от X сказывается часто в изменении средних размеров Y при переходе от одного значения x к другому. Эту последнюю зависимость и описывает кривая регрессии y(x).
Аналогично можно рассматривать условные законы распределения вероятностей случайной величины X при фиксированных значениях Y = y_j, определяемые совокупностью условных вероятностей

, ( i = 1, 2, …, n) при этом

. Точно так же вводится регрессия величины X по Y

. Эта функция описывает изменение центров тяжести масс вероятностей на горизонтальных прямых Y = y = const.
В случае непрерывного распределения величин X и y их совместное распределение задается с помощью плотности вероятности ρ интегрируемой функции ρ(x, y).
Плотность вероятности определяется как предельное значение отношения вероятности попадания в элементарный прямоугольник с вершиной в точке (х, у) со сторонами Δ x и Δ y параллельными осям координат, к площиди этого прямоугольника, при условии, что стороны прямоугольника стремятся к нулю

. Вероятность попадания случайной точки Q (X, Y) в какую-либо область G плоскости ( x, y) выразится равенством

. При этом вероятность попадания на множество из изолированно лежащих точек оси, даже образующих кусок плоской кривой равна нулю. Кроме того, ρ{х,у) равной нулю во всех точках, которые не принадлежат к возможным значениям величины (X, Y).
Геометрически функция z = ρ{х,у) представляется так называемой поверхностью распределения.
Функция

, представляющая вероятность попадания точки Q (X, Y) в часть плоскости, называется интегральной функцией распределения двумерной величины (X, Y). Эта функция возрастает при возрастании каждого из переменных х и у и стремится к единице, когда оба аргумента неограниченно возрастают.
Наиболее простым примером является равномерное распределение двумерной величины на каком-нибудь куске плоскости (х, у).
В этом случае ρ (х, у) = С = соnst, когда (х, у)

G.
ρ (х, у) = 0 вне G. Константа С определяется из условия

. так что

, где S_G – площадь области G.
Вероятность попасть на площадку g расположенную внутри области G, будет равна

, Она не зависит от положения площадки g внутри области G, а только от величины S_g ее площади.
Если плотность ρ( x, y) двумерного распределения задана, то можно определить одномерные функции распределения и плотности. В самом деле, найдем:

. Поэтому для плотности ρ (х) величины X имеем:

. Аналогично

Вопросы для самопроверки

В чём состоит принцип практической уверенности?
Что понимается под законом больших чисел?
Сформулируйте и докажите лемму Чебышева.
Сформулируйте и докажите неравенство Чебышева.
Сформулируйте и докажите теорему Чебышева.
Сформулируйте и докажите теорему Бернулли.
Сформулируйте центральную предельную теорему.