Средние и законы больших чисел

Законы больших чисел состоят в том, что эмпирические средние сходятся к теоретическим. В классическом варианте: выборочное среднее арифметическое при определенных условиях сходится по вероятности при росте числа слагаемых к математическому ожиданию. На основе законов больших чисел обычно доказывают состоятельность различных статистических оценок. В целом эта тематика занимает заметное место в теории вероятностей и математической статистике.

Однако математический аппарат при этом основан на свойствах сумм случайных величин (векторов, элементов линейных пространств). Следовательно, он не пригоден для изучения вероятностных и статистических проблем, связанных со случайными объектами нечисловой природы. Это такие объекты, как бинарные отношения, нечеткие множества, вообще элементы пространств без векторной структуры. Объекты нечисловой природы все чаще встречаются в прикладных исследованиях. Много конкретных примеров приведено выше в настоящей главе. Поэтому представляется полезным получение законов больших чисел в пространствах нечисловой природы. Необходимо решить следующие задачи.

А) Определить понятие эмпирического среднего.

Б) Определить понятие теоретического среднего.

В) Ввести понятие сходимости эмпирических средних к теоретическому.

Г) Доказать при тех или иных комплексах условий сходимость эмпирических средних к теоретическому.

Д) Обобщив это доказательство, получить метод обоснования состоятельности различных статистических оценок.

Е) Дать применения полученных результатов при решении конкретных задач.

Ввиду принципиальной важности рассматриваемых результатов приводим доказательство закона больших чисел, а также результаты компьютерного анализа множества эмпирических средних.

Определения средних величин. Пусть X - пространство произвольной природы, x₁, x₂, x₃,..., x_n - его элементы. Чтобы ввести эмпирическое среднее для x₁, x₂, x₃,..., x_n будем использовать действительнозначную (т.е. с числовыми значениями) функцию f (x,y) двух переменных со значениями в X. В стандартных математических обозначениях: Величина f (x,y) интерпретируется как показатель различия между x и y: чем f (x,y) больше, тем x и y сильнее различаются. В качестве f можно использовать расстояние в Х, квадрат расстояния и т.п.

Определение 1. Средней величиной для совокупности x₁, x₂, x₃,..., x_n (относительно меры различия f), обозначаемой любым из трех способов:

хср = E_n (f) = E_n (x₁, x₂, x₃,..., x_n; f),

называем решение оптимизационной задачи

(1)

Это определение согласуется с классическим: если Х = R ¹, f (x,y) = (x - y) 2, то хср - выборочное среднее арифметическое. Если же Х = R ¹, f (x,y) = |x - y |, то при n = 2k+ 1 имеем хср = x (k+ 1), при n= 2k эмпирическое среднее является отрезком [ x (k), x (k+ 1)]. Здесь через x (i) обозначен i -ый член вариационного ряда, построенного по x₁, x₂, x₃,..., x_n, т.е. i -я порядковая статистика. Таким образом, при Х = R ¹, f (x,y) = |x - y| решение задачи (1) дает естественное определение выборочной медианы. Правда, несколько отличающееся от определения, предлагаемого в курсах "Общей теории статистики", в котором при n = 2k медианой называют полусумму двух центральных членов вариационного ряда (x (k) + x (k+ 1))/2. Иногда x (k) называют левой медианой, а х (k+ 1)- правой медианой [7].

Решением задачи (1) является множество E_n (f), которое может быть пустым, состоять из одного или многих элементов. Выше приведен пример, когда решением является отрезок. Если Х = R ¹\{ х ₀}, f (x,y) = (x - y) 2, а среднее арифметическое выборки равно х ₀, то E_n (f) пусто.

При моделировании реальных ситуаций часто можно принять, что Х состоит из конечного числа элементов. Тогда множество E_n (f) непусто - минимум на конечном множестве всегда достигается.

Понятия случайного элемента со значениями в Х, его распределения, независимости случайных элементов используем согласно предыдущему пункту настоящей главы, т.е. каноническому справочнику Ю.В. Прохорова и Ю.А. Розанова [19]. Будем считать, что функция f измерима относительно -алгебры, участвующей в определении случайного элемента . Тогда при фиксированном y является действительнозначной случайной величиной. Предположим, что она имеет математическое ожидание.

Определение 2. Теоретическим средним E (x,f) (другими словами, математическим ожиданием) случайного элемента относительно меры различия f называется решение оптимизационной задачи

Это определение, как и для эмпирических средних, согласуется с классическим. Если Х = R ¹, f (x,y) = (x - y) 2, то Е (x,f) = М (x (ω)) - обычное математическое ожидание. При этом М - дисперсия случайной величины . Если же Х = R ¹, f (x,y) = |x - y|, то E(x,f) = [ a,b ], где a = sup{ t: F(t) < 0,5}, b = inf{ t: F(t) > 0,5}, где F(t) - функция распределения случайной величины . Если график F(t) имеет плоский участок на уровне F(t) = 0,5, то медиана - теоретическое среднее в смысле определения 2 - является отрезком. В классическом случае обычно говорят, что каждый элемент отрезка [ a; b ]является одним из возможных значений медианы. Поскольку наличие указанного плоского участка - исключительный случай, то обычно решением задачи (2) является множество из одного элемента a = b - классическая медиана распределения случайной величины .

Теоретическое среднее E (x, f) можно определить лишь тогда, когда существует при всех . Оно может быть пустым множеством, например, если Х = R ¹\{ х ₀}, f (x,y) = (x - y) 2, x₀= М (x (ω)). И то, и другое исключается, если Х конечно. Однако и для конечных Х теоретическое среднее может состоять не из одного, а из многих элементов. Отметим, однако, что в множестве всех распределений вероятностей на Х подмножество тех распределений, для которых E (x,f) состоит более чем из одного элемента, имеет коразмерность 1, поэтому основной является ситуация, когда множество E(x,f) содержит единственный элемент [7].

Существование средних величин. Под существованием средних величин будем понимать непустоту множеств решений соответствующих оптимизационных задач.

Если Х состоит из конечного числа элементов, то минимум в задачах (1) и (2) берется по конечному множеству. А потому, как уже отмечалось, эмпирические и теоретические средние существуют.

Ввиду важности обсуждаемой темы приведем доказательства. Для строгого математического изложения нам понадобятся термины из раздела математики под названием "общая топология". Топологические термины и результаты будем использовать в соответствии с классической монографией [20]. Так, топологическое пространство называется бикомпактным в том и только в том случае, когда из каждого его открытого покрытия можно выбрать конечное подпокрытие [20, с.183].

Теорема 1. Пусть Х - бикомпактное пространство, функция f непрерывна на Х2 (в топологии произведения). Тогда эмпирическое и теоретическое средние существуют.

Доказательство. Функция f (x_i, y) от y непрерывна, сумма непрерывных функций непрерывна, непрерывная функция на бикомпакте достигает своего минимума, откуда и следует заключение теоремы относительно эмпирического среднего.

Перейдем к теоретическому среднему. По теореме Тихонова [20, с.194] из бикомпактности Х вытекает бикомпактность Х2. Для каждой точки (x, y) из Х2 рассмотрим - окрестность в Х2 в смысле показателя различия f, т.е. множество

Поскольку f непрерывна, то множества U (x,y) открыты в рассматриваемой топологии в Х². По теореме Уоллеса [20, с.193] существуют открытые (в Х) множества V (x) и W (y), содержащие x и y соответственно и такие, что их декартово произведение V (x)× W (y)целиком содержится внутри U (x, y).

Рассмотрим покрытие Х² открытыми множествами V (x)× W (y).Из бикомпактности Х² вытекает существование конечного подпокрытия { V (x_i)× W (y_i), i = 1, 2 ,..., m}. Для каждого х из Х рассмотрим все декартовы произведения V (x_i)× W (y_i), куда входит точка (x, y) при каком-либо y. Таких декартовых произведений и их первых множителей V (x_i) конечное число. Возьмем пересечение таких первых множителей V (x_i) и обозначим его Z (x). Это пересечение открыто, как пересечение конечного числа открытых множеств, и содержит точку х. Из покрытия бикомпактного пространства X открытыми множествами Z (x) выберем открытое подпокрытие Z ₁, Z ₂ ,..., Z_k.

Покажем, что если и принадлежат одному и тому же Z_j при некотором j, то

(3)

Пусть Zj = Z (x ₀)при некотором x ₀. Пусть V (x_i)× W (y_i), , - совокупность всех тех исходных декартовых произведений из системы { V (x_i)× W (y_i), i = 1, 2 ,..., m }, куда входят точки (x ₀, y) при различных y. Покажем, что их объединение содержит также точки и при всех y. Действительно, если (х ₀, y) входит в V (x_i)× W (y_i), то y входит в W (y_i), а и вместе с x ₀входят в V (x_i), поскольку , и x ₀входят в Z (x ₀). Таким образом, и принадлежат V (x_i)× W (y_i), а потому согласно определению V (x_i)× W (y_i)

откуда и следует неравенство (3).

Поскольку Х² - бикомпактное пространство, то функция f ограничена на Х², а потому существует математическое ожидание Mf (,y) для любого случайного элемента , удовлетворяющего приведенным выше условиям согласования топологии, связанной с f, и измеримости, связанной с . Если х₁ и х₂ принадлежат одному открытому множеству Zj, то

а потому функция

g(y) = Mf(,y) (4)

непрерывна на Х. Поскольку непрерывная функция на бикомпактном множестве достигает своего минимума, т.е. существуют такие точки z, на которых g (z) = inf{ g (y), y X }, то теорема 1 доказана.

В ряде интересных для приложений ситуаций Х не является бикомпактным пространством. Например, если Х = R ¹. В этих случаях приходится наложить на показатель различия f некоторые ограничения, например, так, как это сделано в теореме 2.

Теорема 2. Пусть Х - топологическое пространство, непрерывная (в топологии произведения) функция f: X ² R ² неотрицательна, симметрична (т.е. f (x,y) = f (y,x)для любых x и y из X), существует число D > 0 такое, что при всех x, y, z из X

f (x,y) < D { f (x,z) + f(z,y)}. (5)

Пусть в Х существует точка x ₀такая, что при любом положительном R множество { x: f (x, x ₀) < R } является бикомпактным. Пусть для случайного элемента , согласованного с топологией в рассмотренном выше смысле, существует g (x ₀) = Mf (, x ₀).

Тогда существуют (т.е. непусты) математическое ожидание E(x,f) и эмпирические средние En(f).

Замечание. Условие (5) - некоторое обобщение неравенства треугольника. Например, если g - метрика в X, а f = g^p при некотором натуральном p, то для f выполнено соотношение (5) с D = 2 ^p.

Доказательство. Рассмотрим функцию g (y), определенную формулой (4). Имеем

f (,y) < D { f(, x ₀) + f(x₀,,y)}. (6)

Поскольку по условию теоремы g (x ₀) существует, а потому конечно, то из оценки (6) следует существование и конечность g (y) при всех y из Х. Докажем непрерывность этой функции.

Рассмотрим шар (в смысле меры различия f) радиуса R с центром в x ₀:

K (R) = { x: f (x, x ₀) < R }, R > 0.

В соответствии с условием теоремы K (R) как подпространство топологического пространства Х является бикомпактным. Рассмотрим произвольную точку х из Х. Справедливо разложение

где (С) - индикатор множества С. Следовательно,

(7)

Рассмотрим второе слагаемое в (7). В силу (5)

(8)

Возьмем математическое ожидание от обеих частей (8):

(9)

В правой части (9) оба слагаемых стремятся к 0 при безграничном возрастании R: первое - в силу того, что

второе - в силу того, что распределение случайного элемента сосредоточено на Х и

Пусть U (x) - такая окрестность х (т.е. открытое множество, содержащее х), для которой

sup { f(y, x), y U(x) } <

Имеем

(10)

В силу (9) и (10) при безграничном возрастании R

(11)

равномерно по y U (x). Пусть R (0) таково, что левая часть (11) меньше > 0 при R>R (0) и, кроме того, y U(x) K (R (0)). Тогда при R>R (0)

(12)

Нас интересует поведение выражения в правой части формулы (12) при y U (x). Рассмотрим f ₁ - сужение функции f на замыкание декартова произведения множеств U (x)× K (R), и случайный элемент Тогда

при y U (x), а непрерывность функции была доказана в теореме 1. Последнее означает, что существует окрестность U ₁(x) точки х такая, что

(13)

при y U ₁(x). Из (12) и (13) вытекает, что при

что и доказывает непрерывность функции g(x).

Докажем существование математического ожидания E (x,f). Пусть R (0) таково, что

(14)

Пусть H - некоторая константа, значение которой будет выбрано позже. Рассмотрим точку х из множества K (HR (0)) ^С - дополнения K (HR (0)), т.е. из внешности шара радиуса HR (0 ) с центром в х ₀. Пусть Тогда имеем

откуда

(15)

Выбирая H достаточно большим, получим с учетом условия (14), что при x K (HR (0)) ^С справедливо неравенство

(16)

Можно выбрать H так, чтобы правая часть (16) превосходила

Сказанное означает, что Argmin g(x) достаточно искать внутри бикомпактного множества K(HR (0)). Из непрерывности функции g вытекает, что ее минимум достигается на указанном бикомпактном множестве, а потому - и на всем Х. Существование (непустота) теоретического среднего E (x,f) доказана.

Докажем существование эмпирического среднего E_n(f). Есть искушение проводить его дословно так же, как и доказательство существования математического ожидания E (x,f), лишь с заменой 1/2 в формуле (16) на частоту попадания элементов выборки x_i в шар K (R (0)). Эта частота, очевидно, стремится к вероятности попадания случайного элемента в K (R (0)), большей 1/2 в соответствии с (14). Однако это рассуждение показывает лишь, что вероятность непустоты E_n (f)стремится к 1 при безграничном росте объема выборки. Точнее, оно показывает, что

Поэтому пойдем другим путем, не опирающимся к тому же на вероятностную модель выборки. Положим

(17)

Если х входит в дополнение шара K (HR (1)), то аналогично (15) имеем

(18)

При достаточно большом H из (17) и (18) следует, что

Следовательно, Argmin достаточно искать на K (HR (1)). Заключение теоремы 2 следует из того, что на бикомпактном пространстве K (HR (1))минимизируется непрерывная функция.

Теорема 2 полностью доказана.

О формулировках законов больших чисел. Пусть - независимые одинаково распределенные случайные элементы со значениями в Х. Закон больших чисел - это утверждение о сходимости эмпирических средних к теоретическому среднему (математическому ожиданию) при росте объема выборки n, т.е. утверждение о том, что

(19)

при . Однако и слева, и справа в формуле (19) стоят, вообще говоря, множества. Поэтому понятие сходимости в (19) требует обсуждения и определения.

В силу классического закона больших чисел при

(20)

в смысле сходимости по вероятности, если правая часть существует (теорема А.Я. Хинчина, 1923 г.).

Если пространство Х состоит из конечного числа элементов, то из соотношения (20) легко вытекает (см., например, [7, с.192-193]), что

(21)

Другими словами, является состоятельной оценкой .

Если состоит из одного элемента, , то соотношение (21) переходит в следующее:

(22)

Однако с прикладной точки зрения доказательство соотношений (21) - (22) не дает достаточно уверенности в возможности использования в качестве оценки E (x,f). Причина в том, что в процессе доказательства объем выборки предполагается настолько большим, что при всех y X одновременно левые части соотношений (20) сосредотачиваются в непересекающихся окрестностях правых частей.

Замечание. Если в соотношении (20) рассмотреть сходимость с вероятностью 1, то аналогично (21) получим т.н. усиленный закон больших чисел [7, с.193-194]. Согласно этой теореме с вероятностью 1 эмпирическое среднее входит в теоретическое среднее E(x,f), начиная с некоторого объема выборки n, вообще говоря, случайного, . Мы не будем останавливаться на сходимости с вероятностью 1, поскольку в соответствующих постановках, подробно разобранных в монографии [7], нет принципиальных отличий от случая сходимости по вероятности.

Если Х не является конечным, например, Х = R ¹, то соотношения (21) и (22) неверны. Поэтому необходимо искать иные формулировки закона больших чисел. В классическом случае сходимости выборочного среднего арифметического к математическому ожиданию, т.е. , можно записать закон больших чисел так: для любого > 0 справедливо предельное соотношение

(23)

В этом соотношении в отличие от (21) речь идет о попадании эмпирического среднего = не непосредственно внутрь теоретического среднего E (x,f), а в некоторую окрестность теоретического среднего.

Обобщим эту формулировку. Как задать окрестность теоретического среднего в пространстве произвольной природы? Естественно взять его окрестность, определенную с помощью какой-либо метрики. Однако полезно обеспечить на ее дополнении до Х отделенность множества значений Мf (x () ,y) как функции y от минимума этой функции на всем Х.

Поэтому мы сочли целесообразным определить такую окрестность с помощью самой функции Мf (x () ,y).

Определение 3. Для любого > 0 назовем -пяткой функции g(x) множество

Таким образом, в -пятку входят все те х, для которых значение g (x) либо минимально, либо отличается от минимального (или от инфимума – точной нижней грани) не более чем на . Так, для X = R ¹ и функции g(x) = х ² минимум равен 0, а -пятка имеет вид интервала . В формулировке (23) классического закона больших чисел утверждается, что при любом >0 вероятность попадания среднего арифметического в -пятку математического ожидания стремится к 1. Поскольку > 0 произвольно, то вместо -пятки можно говорить о -пятке, т.е. перейти от (23) к эквивалентной записи

(24)

Соотношение (24) допускает непосредственное обобщение на общий случай пространств произвольной природы.

СХЕМА ЗАКОНА БОЛЬШИХ ЧИСЕЛ. Пусть - независимые одинаково распределенные случайные элементы со значениями в пространстве произвольной природы Х с показателем различия f: X ² R ¹. Пусть выполнены некоторые математические условия регулярности. Тогда для любого > 0 справедливо предельное соотношение

(25)

Аналогичным образом может быть сформулирована и общая идея усиленного закона больших чисел. Ниже приведены две конкретные формулировки "условий регулярности".

Законы больших чисел. Начнем с рассмотрения естественного обобщения конечного множества - бикомпактного пространства Х.

Теорема 3. В условиях теоремы 1 справедливо соотношение (25).

Доказательство. Воспользуемся построенным при доказательстве теоремы 1 конечным открытым покрытием { Z ₁, Z ₂ ,..., Z_k } пространства Х таким, что для него выполнено соотношение (3). Построим на его основе разбиение Х на непересекающиеся множества W ₁, W ₂ ,..., W_m (объединение элементов разбиения W ₁, W ₂ ,..., W_m составляет Х). Это можно сделать итеративно. На первом шаге из Z ₁ следует вычесть Z ₂ ,..., Z_k - это и будет W ₁. Затем в качестве нового пространства надо рассмотреть разность Х и W ₁, а покрытием его будет { Z ₂ ,..., Z_k }. И так до k -го шага, когда последнее из рассмотренных покрытий будет состоять из единственного открытого множества Z_k. Остается из построенной последовательности W ₁, W ₂ ,..., W_k вычеркнуть пустые множества, которые могли быть получены при осуществлении описанной процедуры (поэтому, вообще говоря, m может быть меньше k).

В каждом из элементов разбиения W ₁, W ₂ ,..., W_m выберем по одной точке, которые назовем центрами разбиения и соответственно обозначим w ₁, w ₂ ,..., w_m. Это и есть то конечное множество, которым можно аппроксимировать бикомпактное пространство Х. Пусть y входит в W_j. Тогда из соотношения (3) вытекает, что

(26)

Перейдем к доказательству соотношения (25). Возьмем произвольное >0. Рассмотрим некоторую точку b из E (x,f). Доказательство будет основано на том, что с вероятностью, стремящейся к 1, для любого y вне выполнено неравенство

(27)

Для обоснования этого неравенства рассмотрим все элементы разбиения W ₁, W ₂ ,..., W_m, имеющие непустое пересечение с внешностью -пятки . Из неравенства (26) следует, что для любого y вне левая часть неравенства (27) не меньше

(28)

где минимум берется по центрам всех элементов разбиения, имеющим непустое пересечение с внешностью -пятки. Возьмем теперь в каждом таком разбиении точку v_i, лежащую вне δ-пятки . Тогда из неравенств (3) и (28) следует, что левая часть неравенства (27) не меньше

(29)

В силу закона больших чисел для действительнозначных случайных величин каждая из участвующих в соотношениях (27) и (29) средних арифметических имеет своими пределами соответствующие математические ожидания, причем в соотношении (29) эти пределы не менее

поскольку точки v_i лежат вне -пятки . Следовательно, при

и достаточно большом n, обеспечивающем необходимую близость рассматриваемого конечного числа средних арифметических к их математическим ожиданиям, справедливо неравенство (27).

Из неравенства (27) следует, что пересечение E_n (f) с внешностью пусто. При этом точка b может входить в E_n (f), а может и не входить. Во втором случае E_n (f) состоит из иных точек, входящих в . Теорема 3 доказана.

Если Х не является бикомпактным пространством, то необходимо суметь оценить рассматриваемые суммы "на периферии", вне бикомпактного ядра, которое обычно выделяется естественным путем. Один из возможных комплексов условий сформулирован выше в теореме 2.

Теорема 4. В условиях теоремы 2 справедлив закон больших чисел, т.е. соотношение (25).

Доказательство. Будем использовать обозначения, введенные в теореме 2 и при ее доказательстве. Пусть r и R, r < R, - положительные числа. Рассмотрим точку х в шаре K (r) и точку y вне шара K (R). Поскольку

то

(30)

Положим

Сравним и . Выборку разобьем на две части. В первую часть включим те элементы выборки, которые входят в K (r), во вторую - все остальные (т.е. лежащие вне K(r)). Множество индексов элементов первой части обозначим I = I(n,r). Тогда в силу неотрицательности f имеем

а в силу неравенства (30)

где Card I (n,r) - число элементов в множестве индексов I (n,r). Следовательно,

(31)

где J = Card I (n,r) - биномиальная случайная величина B (n,p) с вероятностью успеха p = P { }. По теореме Хинчина для справедлив (классический) закон больших чисел. Пусть . Выберем так, чтобы при было выполнено соотношение

(32)

где Выберем r так, чтобы вероятность успеха p > 0,6. По теореме Бернулли можно выбрать так, чтобы при

(33)

Выберем R так, чтобы

Тогда

(34)

и согласно (31), (32) и (33) при с вероятностью не менее имеем

(35)

для любого y вне K (R). Из (34) следует, что минимизировать достаточно внутри бикомпактного шара K (R), при этом E_n (f) не пусто и

(36)

с вероятностью не менее 1-2 .

Пусть и - сужения и g(x) = Mf(x(), x) соответственно на K(R) как функций от х. В силу (34) справедливо равенство Согласно доказанной выше теореме 3 найдется такое, что

Согласно (36) с вероятностью не менее

при Следовательно, при имеем

что и завершает доказательство теоремы 4.

Справедливы и иные варианты законов больших чисел, полученные, в частности, в статье [21].

Медиана Кемени и экспертные оценки. Рассмотрим на основе развитой выше теории частный случай пространств нечисловой природы - пространство бинарных отношений на конечном множестве и его подпространства. Как известно, каждое бинарное отношение А можно описать матрицей || a(i,j) || из 0 и 1, причем a(i,j) = 1 тогда и только тогда qi и q jнаходятся в отношении А, и a(i,j) = 0 в противном случае.

Определение 4. Расстоянием Кемени между бинарными отношениями А и В, описываемыми матрицами || a(i,j) || и || b(i,j) || соответственно, называется

Замечание. Иногда в определение расстояния Кемени вводят множитель, зависящий от k.

Определение 5. Медианой Кемени для выборки, состоящей из бинарных отношений, называется эмпирическое среднее, построенное с помощью расстояния Кемени.

Поскольку число бинарных отношений на конечном множестве конечно, то эмпирические и теоретические средние для произвольных показателей различия существуют и справедливы законы больших чисел, описанные формулами (21) и (22) выше.

Бинарные отношения, в частности, упорядочения, часто используются для описания мнений экспертов. Тогда расстояние Кемени измеряет близость мнений экспертов, а медиана Кемени позволяет находить итоговое усредненное мнение комиссии экспертов. Расчет медианы Кемени обычно включают в информационное обеспечение систем принятия решений с использованием оценок экспертов. Речь идет, например, о математическом обеспечении автоматизированного рабочего места "Математика в экспертизе" (АРМ "МАТЭК"), предназначенного, в частности, для использования при проведении экспертиз в задачах экологического страхования. Поэтому представляет большой практический интерес численное изучение свойств медианы Кемени при конечном объеме выборки. Такое изучение дополняет описанную выше асимптотическую теорию, в которой объем выборки предполагается безгранично возрастающим ().