Предельные теоремы теории вероятностей

Рассмотрим ряд утверждений и теорем из большой группы так на­зываемых предельных теорем теории вероятностей, устанавливающих связь между теоретическими и экспериментальными характеристика­ми случайных величин при большом числе испытаний над ними. Они составляют основу математической статистики. Предельные теоремы условно делят на две группы. Первая группа теорем, называемая зако­ном больших чисел (коротко: ЗБЧ), устанавливает устойчивость сред­них значений: при большом числе испытаний их средний результат пе­рестает быть случайным и может быть предсказан с достаточной точ­ностью. Вторая группа теорем, называемая центральной предельной теоремой (коротко: ЦПТ), устанавливает условия, при которых закон распределения суммы большого числа случайных величин неограни­ченно приближается к нормальному.

В начале рассмотрим неравенство Чебышева, которое можно ис­пользовать: а) для грубой оценки вероятностей событий, связанных со с. в., распределение которых неизвестно; б) доказательства ряда теорем ЗБЧ.

Неравенство Чебышева

Теорема 5.1. Если с. в. X имеет м. о. MX — а и дисперсию DX, то для любого е > 0 справедливо неравенство Чебышева

Р{\Х-МХ\>£}<2£. (5.1)

Г⁴

Q Докажем неравенство (5.1) для непрерывной с. в. X с плотностью f(x). Вероятность Р{\Х — а\^е} есть вероятность попадания с. в. X в область, лежащую вне промежутка [а — е,а + е]. Можно записать

Ч-оо

-ОО о+£ \х-а\^е

{х - а)2 (х — а)2 ^ е2, откуда следует 1 < ---- ^ ■ Имеем

= I l'f(x)dx^ J ^{х~₂^а)2 f(x)dx,

так как область интегрирования \х — а\ ^ е можно записать в виде

\2 ^ Л

uLis.y^j,ci wit^aj'tri х ^ -

е'

оо

Р{\Х - а| ^ £} ^ ^ J (х- affix) dx ^ ± J [х - a)²f(x) dx,

[ж-а^е -оо

так как интеграл от неотрицательной функции при расширении обла­сти интегрирования может только возрасти. Таким образом,

оо

Р{\Х J (х- a)²f(x) dx = ±DX,

т.е. ~а\ Щ-.

£¹

Аналогично доказывается неравенство Чебышева и для дискрет­ной с. в. X, принимающей значения х\, #2, • ■ • с вероятностями pi,p2-

рз,...; только интегралы (вида J) заменяются соответствующими суммами (вида ^). В

Отметим, что неравенство Чебышева можно записать в другой форме:

Р{\Х - MXI < е} > 1 - ££ (5.2)

£

В форме (5.2) оно устанавливает нижнюю границу вероятности собы­тия, а в форме (5.1) -— верхнюю.

Неравенство Чебышева справедливо для любых с. в. В частности, для с. в. X = т, имеющей биномиальное распределение с матожиданием MX = а = пр и дисперсией DX = npq (п. 2.7), оно принимает вид

Р{\т-пр\<£}>1-^ (5.3)

для частости Щ (или п. 1.5) события в п независимых испы­таниях, в каждом из которых оно может произойти с вероятностью р = М {—) = а, дисперсия которых D = неравенство Чебыше­ва имеет вид

Р{\Ш-_Р\_<£}>1-Ц. (5.4)

Оценку вероятности попадания с. в. X в промежуток [е, оо) дает неравенство Маркова.

Теорема 5.2 (Неравенство Маркова). Для любой неотрицательной с. в. X, имеющей м. о. MX и е > 0, справедливо неравенство:

Р{Х ^е}^ MX, (5.5)

□ Р{Х > с} = J f(x)dx < J f f(x)dx = I J xf(x)dx ^

£ £ £

^±fxf(x)dx =

Неравенство (5.5) можно записать в форме

Р{Х<е}> 1 - (5.6)

Г) Пример 5.1. Оценить с помощью неравенства Чебышева вероятность того, что отклонение с. в. X от своего м. о. будет меньше трех с. к. о., т. е. меньше Зсг^.

Q Полагая е = 3<т_х в формуле (5.2), получаем

Р{\Х-МХ\ < 3<Т_Х) > 1 - = ¹ - I = I ~ °'⁸⁸⁸⁹-

Эта оценка, как известно (п. 2.7), называется правилом трех сигм; для с. в. X ~ iV(a,<j) эта вероятность равна 0,9973. •

Теорема Чебышева

Основное утверждение ЗБЧ содержится в теореме Чебышева. В ней и других теоремах ЗБЧ используется понятие «сходимости случайных величин по вероятности».

Случайные величины Х\, Х₂,..., Х_п:... сходятся по вероятности к величине А (случайной или неслучайной), если для любого е > О вероятность события {[А'_п — А\ < е] при п —> оо стремится к единице, т. е.

lim Р{\Х_п ~А\<е} = 1

п—►оо

(или Р{\Х_п — А\ < е} —>■ 1). Сходимость по вероятности символически записывают так:

х_п -JL^A.

п—>оо

Следует отметить, что сходимость по вероятности требует, чтобы неравенство \Х_п — А\ < е выполнялось для подавляющего числа членов последовательности (в математическом анализе — для всех п > iV, где N — некоторое число), а при п —» оо практически все члены последо­вательности должны попасть в ^-окрестность А.

Теорема 5.3 (ЗБЧ в форме П. JT. Чебышева, 1886 г.). Если случай­ные величины Х\_у Х₂, •.., Х_п,... независимы и существует такое число С > 0, что DXi ^ С_у г = 1,2,..то для любого е > О

И» ■^р { я £ - к £^мх ' < 4 = W

\ i-l i-l ^J

т. е. среднее арифметическое этих случайных величин сходится по веро­ятности к среднему арифметическому их м.о.:

i-l г=1

□ Так как DX_{ ^ С, г = 1,2,..., то

(

П ч / П v п

г=1 i-l ^х г=1

= mdx! -f dx₂ +... + dx_n) ^ \{c + C +,.. + C) = -^Cn - £ rr гг rr

Тогда, применяя к с. в.

и

i= 1

неравенство Чебышева (5.2), имеем

 

^p{kii^xi-kE^Mxi <4

(5.8)

^ 1-

^ г=1 ^J

 

Переходя к пределу при п —> оо и учитывая, что вероятность любого события не превышает 1, получаем

(5.9)

* i=i i=i ^J

Следствие. Если с. в. Xi, Х2,.. •, Х_п,... независимы и одинаково распределены, mxi — a, dxj = а², то для любого е > О

^{IsE*-» <4 = 1.

т. е. среднее арифметическое с, в. сходится по вероятности к математи­ческому ожиданию а:

п

Р, _ч ► а.

П->0о

t=l

Q Так как

п

^^MXi = ±(МХ₁+МХ₂ +...±МХ_п) = ±(а+а+...+а) = ^-па = а,

г=1

а дисперсии с. в. Х^ равны числу <т², т. е. ограничены, то, применив ЗБЧ в форме Чебышева (5.7), получим утверждение (5.9). И

Следствие (5.9) теоремы Чебышева обосновывает «принцип сред­него арифметического с. в. Х{», постоянно используемый на практике. Так, пусть произведено п независимых измерений некоторой величи­ны, истинное значение которой а (оно неизвестно). Результат каждого

измерения есть с. в. Х{. Согласно следствию (5.9), в качестве прибли­женного значения величины а можно взять среднее арифметическое результатов измерений:

п

^а ~ п ^Xi ~ ^Х' i—1

Равенство тем точнее, чем больше п.

На теореме Чебышева основан также широко применяемый в ста­тистике выборочный метод, суть которого в том, что о качестве боль­шого количества однородного материала можно судить по небольшой его пробе.

Теорема Чебышева подтверждает связь между случайностью и не­обходимостью: среднее значение случайной величины

п

i=i

практически не отличается от неслучайной величины

\

i=i

Пример 5.2. Глубина моря измеряется прибором, не имеющим систе­матической ошибки. Среднее квадратическое отклонение измерений не превосходит 15 м. Сколько нужно сделать независимых измерений, что­бы с вероятностью, не меньшей 0,9, можно было утверждать, что сред­нее арифметическое этих измерений отличается от а (глубины моря) по модулю меньше, чем на 5 м?

пе

О Обозначим через Xi результаты п независимых измерений глубины моря. Нужно найти число п, которое удовлетворяет неравенству (5.8):

^ г—1 г=1 '

где МХ{ = а, что означает отсутствие при измерениях системати­ческой ошибки (т. е. измерения производятся с одинаковой точностью). По условию е = 5, С = 225, так как о = s/DX — 15м. Отсюда

> 1 _ 225 > п о ^ ¹ 25п ^и,У'

т.е. 0,1 ^ n ^ 90. Измерение нужно проводить не менее 90 раз.

Теорема Бернулли

Теорема Бернулли исторически является первой и наиболее про­стой формой закона больших чисел. Она теоретически обосновывает свойство устойчивости относительной частоты (см. п. 1.5).

Теорема 5.4 (ЗБЧ в форме Я. Бернулли, 1713 г.). Если вероятность появления события А в одном испытании равна р, число наступления этого события при п независимых испытаниях равно пд, то для любого числа е > 0 имеет место равенство

 

(5.10)

lim Р< п-+оо

1,

№Н^<е)

 

т. е. относительная частота Р* (Л) события А сходится по вероятности к

р

вероятности р события А: Р*(А)--- у

п—>оо

Q Введем с. в. Х₂,..., Х_п следующим образом: Xi = 1, если в г-м испытании появилось событие А, а если не появилось, то Xi =0. Тогда число ид (число успехов) можно представить в виде

п

ПА = ^ ^Хг-

i=1

М.о. и дисперсия с. в. Х{ равны: МХ{ ~ 1 • р + 0 • (1 — р) = р, DX{ = (0 — р)²(1 — р) -f (1 — р)²р = р(1 — р) = pq. Закон распределения с. в. Xi имеет вид

Xi		1
р	1 ~р	р.

 

при любом г. Таким образом, с. в. Xi независимы, их дисперсии огра­ничены одним и тем же числом так как

р(1-Р)=Р-Р² = 1-(Р-±У Поэтому к этим с. в. можно применить теорему Чебышева (5.7):

<Л = 1-

^ г=1 г=1 ^J

i=1 i=l

Следовательно, lim Р \ — р < 5} = 1.

п—> оо к ^,ь I J

Теорема Бернулли теоретически обосновывает возможность при­ближенного вычисления вероятности события с помощью его относи­тельной частоты. Так, например, за вероятность рождения девочки можно взять относительную частоту этого события, которая, соглас­но статистическим данным, приближенно равна 0,485.

Неравенство Чебышева (5.2) для случайных величин

п

i= 1

принимает вид

Р{№-_Р\<е}^-Ц>. (5.11)

Обобщением теоремы Бернулли на случай, когда вероятности pi появления события а в каждом из ть испытаний различны, является теорема Пуассона:

п

(5.12)

п—юо " ^z—' t=l

где pi — вероятность события а в г-м испытании.

(С| Пример 5.3. Вероятность наличия опечатки на одной странице руко- писи равна 0,2. Оценить вероятность того, что в рукописи, содержащей 400 страниц, частость появления опечатки отличается от соответству­ющей вероятности по модулю меньше, чем 0,05.

Но

Q Воспользуемся формулой (5.11). В данном случае р — 0,2, q = 0,8, п ~ 400,? = 0,05. Имеем

 

1 _ Ж 1 пе

400 • 0,052

P{|^-0,2| <0,05} т.е. р > 0,84.