Центральная предельная теорема, закон больших чисел
План:
1. Понятие центральной предельной теоремы (теорема Ляпунова)
2. Закон больших чисел, вероятность и частота (теоремы Чебышева и Бернулли)
1. Понятие центральной предельной теоремы.
Нормальное распределение вероятностей имеет в теории вероятностей большое значение. Нормальному закону подчиняется вероятность при стрельбе по цели, в измерениях и т. п. В частности, оказывается, что закон распределения суммы достаточно большого числа независимых случайных величин с произвольными законами распределения близок к нормальному распределению. Этот факт, называемый центральной предельной теоремой или теоремой Ляпунова[1].
Известно, что нормально распределенные случайные величины широко распространены на практике. Чем это объясняется? Ответ на этот вопрос был дан А. М. Ляпуновым
Центральная предельная теорема. Если случайная величина X представляет, собой сумму очень большого числа взаимно независимых случайных величин, влияние каждой из которых на всю сумму ничтожно мало, то X имеет распределение, близкое к нормальному распределению.
Пример. Пусть производится измерение некоторой физической величины. Любое измерение дает лишь приближенное значение измеряемой величины, так как на результат измерения влияют очень многие независимые случайные факторы (температура, колебания прибора, влажность и др.). Каждый из этих факторов порождает ничтожную частную ошибку. Однако, поскольку число этих факторов очень велико, их совокупное действие порождает уже заметную «суммарную ошибку».
Рассматривая суммарную ошибку как сумму очень большого числа взаимно независимых частных ошибок, мы вправе заключить, что суммарная ошибка имеет распределение, близкое к нормальному распределению. Опыт подтверждает справедливость такого заключения.
Рассмотрим условия, при которых выполняется центральная предельная теорема
Пусть:
Х1, Х2, ,Хn – последовательность независимых случайных величин,
M(Х1), M(Х2), ,M(Хn) конечные математические ожидания этих величин, соответственно равные М(Xk)= ak
D(Х1), D(Х2), , D(Хn) конечные дисперсии их, соответственно равные D(X k)=bk2
Введем обозначения: S= Х1+Х2 + +Хn;
A k= Х1+Х2 + +Хn=; B2= D(Х1)+ D(Х2)+ + D(Хn) =
Запишем функцию распределения нормированной суммы:
Fn(x) =
Говорят, что к последовательности Х1, Х2, ,Хn применима центральная предельная теорема, если при любом x функция распределения нормированной суммы при n ® ¥ стремится к нормальной функции распределения:
=
Замечание. Полученная функция отличается от интегральной приближенной функции Лапласа только лишь пределами интегрирования, где находятся от 0 до x
В частности если все случайные величины Х1, Х2, ,Хn одинаково распределены и дисперсии всех этих величин конечные и не равные нулю, то к этой последовательности применима центральная предельная теорема.
2. Закон больших чисел, вероятность и частота.
Как известно, нельзя заранее уверенно предвидеть, какое из возможных значений примет случайная величина в итоге испытания; это зависит от многих случайных причин, учесть которые невозможно. Казалось бы, поскольку о каждой случайной величине мы располагаем в этом смысле весьма скромными сведениями, то вряд ли можно установить закономерности поведения и суммы достаточно большого числа случайных величин. На самом деле это не так. Оказывается, что при некоторых сравнительно широких условиях суммарное поведение достаточно большого числа случайных величин почти утрачивает случайный характер и становится закономерным.
Для практики очень важно знание условий, при выполнении которых совокупное действие очень многих случайных причин приводит к результату, почти не зависящему от случая, так как позволяет предвидеть ход явлений. Эти условия и указываются в теоремах, носящих общее название закона больших чисел. К ним относятся теоремы Чебышева и Бернулли (имеются и другие теоремы, которые здесь не рассматриваются).
Теорема Чебышева является наиболее общим законом больших чисел, теорема Бернулли- простейшим.
2.1. Неравенство Чебышева
Неравенство Чебышева справедливо для дискретных и непрерывных случайных величин. Для простоты ограничимся рассмотрением этого неравенства для дискретных величин.
Xi | x1 | x2 | … | xn |
Pi | p1 | p2 | … | pn |
Рассмотрим дискретную случайную величину X, заданную таблицей распределения:
Поставим перед собой задачу оценить вероятность того, что отклонение случайной величины от ее математического ожидания не превышает по абсолютной величине положительного числа ε
Если ε достаточно мало, то мы оценим, таким образом, вероятность того, что X примет значения, достаточно близкие к своему математическому ожиданию. Чебышев П.Л. доказал неравенство, позволяющее дать интересующую нас оценку.
Лемма Чебышева. Дана случайная величина X, принимающая только неотрицательные значения с математическим ожиданием M(X). Для любого числа α>0 имеет место выражение:
Неравенство Чебышева. Вероятность того, что отклонение случайной величины X от ее математического ожидания по абсолютной величине меньше положительного числа ε, не меньше, чем 1 – D(X) / ε 2:
Р ( | X-M (X) | < ε ) ³ 1 D (Х) / ε 2.
Замечание. Неравенство Чебышева имеет для практики ограниченное значение, поскольку часто дает грубую, а иногда и тривиальную (не представляющую интереса) оценку.
Теоретическое же значение неравенства Чебышева весьма велико. Ниже мы воспользуемся этим неравенством для вывода теоремы Чебышева.
2.2. Теорема Чебышева
Если Х1, Х2, ,Хn..- попарно независимые случайные величины, причем дисперсии их равномерно ограничены (не превышают постоянного числа С), то, как бы мало ни было положительное число ε, вероятность неравенства
÷ (Х1+Х2 + +Хn ) / n - (M(Х1)+M(Х2)+ +M(Хn ))/n | < ε
будет как угодно близка к единице, если число случайных величин достаточно велико.
Другими словами, в условиях теоремы
P (÷ (Х1+Х2 + +Хn ) / n - (M(Х1)+M(Х2)+ +M(Хn ))/n | < ε)=1.
Теорема Чебышева утверждает:
1. Рассматривается достаточно большое число независимых случайных величин, имеющих ограниченные дисперсии,
2. Почти достоверным можно считать событие, состоящее в том, что отклонение среднего арифметического случайных величин от среднего арифметического их математических ожиданий будет по абсолютной величине сколь угодно малым.
Формулируя теорему Чебышева, мы предполагали, что случайные величины имеют различные математические ожидания. На практике часто бывает, что случайные величины имеют одно и то же математическое ожидание. Очевидно, что если вновь допустить, что дисперсии этих величин ограничены, то к ним будет применима теорема Чебышева.
Обозначим математическое ожидание каждой из случайных величин через а;
В рассматриваемом случае среднее арифметическое математических ожиданий, как легко видеть, также равно а.
Можно сформулировать теорему Чебышева для рассматриваемого частного случая.
Если Х1, Х2, ,Хn..- попарно независимые случайные величины, имеющие одно и то же математическое ожидание а, и если дисперсии этих величин равномерно ограничены, то, как бы мало ни было число ε > О, вероятность неравенства
÷ (Х1+Х2 + +Хn ) / n a | < ε
будет как угодно близка к единице, если число случайных величин достаточно велико.
Другими словами, в условиях теоремы
P (÷ (Х1+Х2 + +Хn ) / n a | < ε) = 1.
2.3. Сущность теоремы Чебышева
Хотя отдельные независимые случайные величины могут принимать значения, далекие от своих математических ожиданий, среднее арифметическое достаточно большого числа случайных величин с большой вероятностью принимает значения, близкие к определенному постоянному числу, а именно к числу
(М (Xj) + М (Х2) + + М (Х„))/п или к числу а в частном случае .
Иными словами, отдельные случайные величины могут иметь значительный разброс, а их среднее арифметическое рассеянно мало.
Таким образом, нельзя уверенно предсказать, какое возможное значение примет каждая из случайных величин, но можно предвидеть, какое значение примет их среднее арифметическое.
Итак, среднее арифметическое достаточно большого числа независимых случайных величин (дисперсии которых равномерно ограничены) утрачивает характер случайной, величины.
Объясняется это тем, что отклонения каждой из величин от своих математических ожиданий могут быть как положительными, так и отрицательными, а в среднем арифметическом они взаимно погашаются.
Теорема Чебышева справедлива не только для дискретных, но и для непрерывных случайных величин; она является примером, подтверждающим справедливость учения о связи между случайностью и необходимостью.
2.4. Значение теоремы Чебышева для практики
Приведем примеры применения теоремы Чебышева к решению практических задач.
Обычно для измерения некоторой физической величины производят несколько измерений и их среднее арифметическое принимают в качестве искомого размера. При каких условиях этот способ измерения можно считать правильным? Ответ на этот вопрос дает теорема Чебышева (ее частный случай).
Действительно, рассмотрим результаты каждого измерения как случайные величины
Х1, Х2, ,Хn
К. этим величинам можно применить теорему Чебышева, если:
1) Они попарно независимы.
2) имеют одно и то же математическое ожидание,
3) дисперсии их равномерно ограничены.
Первое требование выполняется, если результат каждого измерения не зависит от результатов остальных.
Второе требование выполняется, если измерения произведены без систематических (одного знака) ошибок. В этом случае математические ожидания всех случайных величин одинаковы и равны истинному размеру а.
Третье требование выполняется, если прибор обеспечивает определенную точность измерений. Хотя при этом результаты отдельных измерений различны, но рассеяние их ограничено.
Если все указанные требования выполнены, мы вправе применить к результатам измерений теорему Чебышева: при достаточно большом п вероятность неравенства
| (Х1 + Хя++Х„)/п - а |< ε как угодно близка к единице.
Другими словами, при достаточно большом числе измерений почти достоверно, что их среднее арифметическое как угодно мало отличается от истинного значения измеряемой величины.
Теорема Чебышева указывает условия, при которых описанный способ измерения может быть применен. Однако ошибочно думать, что, увеличивая число измерений, можно достичь сколь угодно большой точности. Дело в том, что сам прибор дает показания лишь с точностью ± α , поэтому каждый из результатов измерений, а следовательно, и их среднее арифметическое будут получены лишь с точностью, не превышающей точности прибора.
На теореме Чебышева основан широко применяемый в статистике выборочный метод, суть которого состоит в том, что по сравнительно небольшой случайной выборке судят о всей совокупности (генеральной совокупности) исследуемых объектов.
Например, о качестве кипы хлопка заключают по небольшому пучку, состоящему из волокон, наудачу отобранных из разных мест кипы. Хотя число волокон в пучке значительно меньше, чем в кипе, сам пучок содержит достаточно большое количество волокон, исчисляемое сотнями.
В качестве другого примера можно указать на определение качества зерна по небольшой его пробе. И в этом случае число наудачу отобранных зерен мало сравнительно со всей массой зерна, но само по себе оно достаточно велико.
Уже из приведенных примеров можно заключить, что для практики теорема Чебышева имеет неоценимое значение.
2.5. Теорема Бернулли
Производится п независимых испытаний (не событий, а испытаний). В каждом из них вероятность появления события A равна р.
Возникает вопрос, какова примерно будет относительная частота появлений события? На этот вопрос отвечает теорема, доказанная Бернулли[2] которая получила название закона больших чисел и положила начало теории вероятностей как науке.
Теорема Бернулли. Если в каждом из п независимых испытаний вероятность р появления события А постоянна, то как угодно близка к единице вероятность того, что отклонение относительной частоты от вероятности р по абсолютной величине будет сколь угодно малым, если число испытаний достаточно велико.
Другими словами, если ε >0 сколь угодно малое число, то при соблюдении условий теоремы имеет место равенство
Р( | m / п- р| < ε)= 1
Замечание. Было бы неправильным на основании теоремы Бернулли сделать вывод, что с ростом числа испытаний относительная частота неуклонно стремится к вероятности р; другими словами, из теоремы Бернулли не вытекает равенство (т/п) = р,
В теореме речь идет лишь о вероятности того, что при достаточно большом числе испытаний относительная частота будет, как угодно мало отличаться от постоянной вероятности появления события в каждом испытании.
Задание 7-1.
1. Оценить вероятность того, что при 3600 бросаниях кости число появления 6 очков будет не меньше 900.
Решение. Пусть x – число появления 6 очков при 3600 бросаниях монеты. Вероятность появления 6 очков при одном бросании равна p=1/6, тогда M(x)=3600·1/6=600. Воспользуемся неравенством (леммой) Чебышева при заданном α = 900
=P(x ³ 900) £ 600 / 900 =2 / 3
Ответ 2 / 3.
2. Проведено 1000 независимых испытаний, p=0,8. Найти вероятность числа наступлений события A в этих испытаниях отклонится от своего математического ожидания по модулю меньше, чем 50.
Решение. x –число наступлений события A в n – 1000 испытаниях.
М(Х)= 1000·0,8=800. D(x)=100·0,8·0,2=160
Воспользуемся неравенством Чебышева при заданном ε = 50
Р ( | х-M (X) | < ε ) ³ 1 D (х) / ε 2
Р ( | х-800 | < 50 ) ³ 1 160 / 50 2 = 1-160 / 2500 = 0,936.
Ответ. 0,936
3. Используя неравенство Чебышева, оценить вероятность того, что |Х -М(Х)| < 0,1, если D (X) = 0,001. Ответ Р³0,9.
4. Дано: Р(|Х—М(Х)\ < ε) ³ 0,9; D (X)= 0,004. Используя неравенство Чебышева, найти ε. Ответ. 0,2.
Контрольные вопросы и задания
1. Назначение центральной предельной теоремы
2. Условия применимости теоремы Ляпунова.
3. Отличие леммы и теоремы Чебышева.
4. Условия применимости теоремы Чебышева.
5. Условия применимости теоремы Бернулли (закона больших чисел)
.