П-3. Теоремы о наследовании сходимости

Суть проблемы наследования сходимости. Пусть распределения случайных величин X_n при n → ∞ стремятся к распределению случайной величины Х. При каких функциях f можно утверждать, что распределения случайных величин f (X_n)сходятся к распределению f (X), т.е. наследуется сходимость?

Хорошо известно, что для непрерывных функций f сходимость наследуется [3]. Однако в прикладной статистике и, в частности, в нечисловой статистике используются различные обобщения этого утверждения. Необходимость обобщений связана с тремя обстоятельствами.

1) Статистические данные могут моделироваться не только случайными величинами, но и случайными векторами, случайными множествами, случайными элементами произвольной природы (т.е. функциями на вероятностном пространстве со значениями в произвольном множестве).

2) Переход к пределу должен рассматриваться не только для случая безграничного возрастания объема выборки, но и в более общих случаях. Например, если в постановке статистической задачи участвуют несколько выборок объемов n (1), n (2), …, n (k), то вполне обычным является предположение о безграничном росте всех этих объемов (что можно описать и как min { n (1), n (2), …, n (k)} → ∞).

3) Функция f не обязательно является непрерывной. Она может иметь разрывы. Кроме того, она может зависеть от параметров, по которым происходит переход к пределу. Например, может зависеть от объемов выборок. Если в постановке статистической задачи участвуют несколько выборок объемов n (1), n (2), …, n (k), то, как правило, необходимо рассматривать функции вида f = f (n (1), n (2), …, n (k)).

Расстояние Прохорова и сходимость по направленному множеству. Введем необходимые для дальнейшего изложения понятия.

Для определения расстояния (метрики) Прохорова нужны предварительные определения.Пусть С – некоторое пространство, А – его подмножество, d – метрика в С. Введем понятие ε-окрестности множества А в метрике d:

S (A,ε) = { x С: d (A, x) < ε}.

Таким образом, ε-окрестность множества А – это совокупность всех точек пространства С, отстоящих от А не более чем на положительное число ε. При этом расстояние от точки х до множества А – это точная нижняя грань расстояний от х до точек множества А, т.е.

d (A, x) = inf{ d (x,y): y A }.

Пусть P ₁ и P ₂ – две вероятностные меры на С (т.е. распределения двух случайных элементов со значениями в С). Пусть D ₁₂ – множество чисел ε > 0 таких, что

P ₁(A) < P ₂(S (A,ε)+ε

для любого замкнутого подмножества А пространства С. Пусть D ₂₁ – множество чисел ε > 0 таких, что

P ₂(A) < P ₁(S (A,ε)+ε

для любого замкнутого подмножества А пространства С. Расстояние Прохорова L (P ₁, P ₂) между вероятностными мерами (его можно рассматривать и как расстояние между случайными элементами с распределениями P ₁ и P ₂ соответственно) вводится формулой

L (P ₁, P ₂) = max (inf D ₁₂, inf D ₂₁).

С помощью метрики Прохорова формализуется понятие сходимости распределений случайных элементов в произвольном пространстве.

Расстояние L (P ₁, P ₂) введено академиком РАН Юрием Васильевичем Прохоровым в середине ХХ в. и широко используется в современной теории вероятностей.

Сходимость по направленному множеству [4, с.95-96]. Бинарное отношение > (упорядочение), заданное на множестве В, называется направлением на нем, если В не пусто и

(а) если m, n и p – такие элементы множества В, что m > n и n > p, то m > p;

(б) m > m для любого m из B;

(в) если m и n принадлежат B, то найдется элемент p из B такой, что p > m и p > n.

Направленное множество – это пара (В, >), где > - направление на множестве В. Направленностью (или «последовательностью по направленному множеству») называется пара (f, >), где f – функция, > - направление на ее области определения. Пусть f: B → Y, где Y – топологическое пространство. Направленность (f, >) сходится в топологическом пространстве Y к точке y ₀, если для любой окрестности U точки y ₀ найдется p из B такое, что f (q) U при любом q > p. В таком случае говорят также о сходимости по направленному множеству.

Пусть В = {(n (1), n (2), …, n (k))} – совокупность векторов, каждый из которых составлен из объемов k выборок. Пусть

(n (1), n (2), …, n (k)) > (n ₁(1), n ₁(2), …, n ₁(k))

тогда и только тогда, когда n (i) > n ₁(i) при всех i = 1, 2, …, k. Тогда (В, >) – направленное множество, сходимость по которому эквивалентна сходимости при min { n (1), n (2), …, n (k)} → ∞.

Чтобы охватить различные частные случаи, целесообразно предельные теоремы формулировать в терминах сходимости по направленному множеству. Будем писать B = {α}. Пусть запись α→∞ обозначает переход к пределу по направленному множеству.

Формулировка проблемы наследования сходимости. Пусть случайные элементы X _α со значениями в пространстве С сходятся при α→∞ к случайному элементу Х, где через α→∞ обозначен переход к пределу по направленному множеству. Сходимость случайных элементов означает, что L (X _α, X) → 0 при α→∞, где L – метрика Прохорова в пространстве С.

Пусть f _α: C → Y – некоторые функции. Какие условия надо на них наложить, чтобы из L (X _α, X) → 0 вытекало, что L ₁(f _α(X _α), f _α(X)) → 0 при α→∞, где L ₁ – метрика Прохорова в пространстве Y? Другими словами, какие условия на функции f _α: C → Y гарантируют наследование сходимости?

В работах [5, 6] найдены необходимые и достаточные условия на функции f _α: C → Y, гарантирующие наследование сходимости. Описанию этих условий посвящена оставшаяся часть настоящего раздела П-3.

Приведем для полноты изложения строгие формулировки математических предположений.

Математические предположения. Пусть С и У – полные сепарабельные метрические пространства, Пусть выполнены обычные предположения измеримости: Х _α и Х – случайные элементы С, f _α(Х _α) и f _α(Х) – случайные элементы в У, рассматриваемые ниже подмножества пространств С и У лежат в соответствующих σ–алгебрах измеримых подмножеств, и т.д.

Понадобятся некоторые определения. Разбиение Т_n = { C _1n, C _{2 n}, …, C_nn } пространства С – это такой набор подмножеств C_j, j = 1, 2, …, n, этого пространства, что пересечение любых двух из них пусто, а объединение совпадает с С. Диаметром diam (A) подмножества А множества С называется точная верхняя грань расстояний между элементами А, т.е.

diam (A) = sup { d (x, y), x A, y A },

где d (x, y) – метрика в пространстве С. Обозначим ∂ А границу множества А, т.е. совокупность точек х таких, что любая их окрестность U (x) имеет непустое пересечение как с А, так и с C \ А. Колебанием δ(f, B) функции f на множестве B называется δ(f, B) = sup {| f (x) – f (y)|, x B, y B }.

Достаточное условие для наследования сходимости. Пусть L (X _α, X) → 0 при α → ∞. Пусть существует последовательность Т_n разбиений пространства С такая, что Р (Х ∂ А) = 0 для любого А из Т_n и, основное условие, для любого ε > 0

(1)

при n →∞ и α→∞, где сумма берется по всем тем А из Т_n, для которых колебание функции f _α на А больше ε, т.е. δ(f _α, А) > ε. Тогда L ₁(f _α(X _α), f _α(X)) → 0 при α→∞.

Необходимое условие для наследования сходимости. Пусть У – конечномерное линейное пространство, У = R^k. Пусть случайные элементы f _α(X) асимптотически ограничены по вероятности при α→∞, т.е. для любого ε > 0 существуют число S (ε) и элемент направленного множества α(ε) такие, что Р (|| f _α(X)||> S (ε))<ε при α > α(ε), где || f _α(X)|| - норма (длина) вектора f _α(X). Пусть существует последовательность Т_n разбиений пространства С такая, что

,

т.е. последовательность Т_n является безгранично измельчающейся. Самое существенное – пусть условие (1) не выполнено для последовательности Т_n. Тогда существует последовательность случайных элементов X _α такая, что L (X _α, X) → 0 при α → ∞, но L ₁(f _α(X _α), f _α(X)) не сходится к 0 при α → ∞.

Несколько огрубляя, можно сказать, что условие (1) является необходимым и достаточным для наследования сходимости.

Пример 1. Пусть С и У – конечномерные линейные пространства, функции f _α не зависят от α, т.е. f _α ≡ f, причем функция f ограничена. Тогда условие (1) эквивалентно требованию интегрируемости по Риману-Стилтьесу функции f по мере G (A) = P (X A). В частности, условие (1) выполнено для непрерывной функции f.

В конечномерных пространствах С вместо сходимости L (X _α, X) → 0 при α → ∞ можно говорить о слабой сходимости функций распределения случайных векторов X _α к функции распределения случайного вектора X. Речь идет о «сходимости по распределению», т.е. о сходимости во всех точках непрерывности функции распределения случайного вектора X. В этом случае разбиения могут состоять из многомерных параллелепипедов [5, гл.2].

Пример 2. Полученные выше результаты дают обоснование для рассуждений типа следующего. Пусть по двум независимым выборкам объемов m и n соответственно построены статистики X_m и Y_n. Пусть известно, что распределения этих статистик сходятся при безграничном росте объемов выборок к стандартному нормальному распределению с математическим ожиданием 0 и дисперсией 1. Пусть a (m, n) и b (m, n) – некоторые коэффициенты. Тогда согласно результатам примера 1 распределение случайной величины Z (m, n) = a (m, n) X_m + b (m, n) Y_n сближается с распределением нормально распределенной случайной величины с математическим ожиданием 0 и дисперсией a ²(m, n) + b ²(m, n). Если же a ²(m, n) + b ²(m, n) = 1, например,

,

то распределение Z (m, n) сходится при безграничном росте объемов выборок к стандартному нормальному распределению с математическим ожиданием 0 и дисперсией 1.

 

П-4. Метод линеаризации

При разработке методов прикладной статистики и, в частности, нечисловой статистики часто возникает следующая задача [3, с.338]. Имеется последовательность k -мерных случайных векторов X_n = (X _{1 n}, X _{2 n}, …, X_kn), n = 1, 2, …, такая, что X_n → a = (a ₁, a ₂, …, a_k) при n → ∞, и последовательность функций f_n: R^k → R ¹. Требуется найти распределение случайной величины f_n (X_n).

Основная идея – рассмотреть главный линейный член функции f_n в окрестности точки а. Из математического анализа известно, что

,

где остаточный член является бесконечно малой величиной более высокого порядка малости, чем линейный член. Таким образом, произвольная функция может быть заменена на линейную функцию от координат случайного вектора. Эта замена проводится с точностью до бесконечно малых более высокого порядка. Конечно, должны быть выполнены некоторые математические условия регулярности. Например, функции f_n должны быть дважды непрерывно дифференцируемы в окрестности точки а.

Если вектор X_n является асимптотически нормальным с математическим ожиданием а и ковариационной матрицей ∑/ n, где ∑ = ||σ _ij ||, причем σ _ij = nM (X_i – a_i)(X_j – a_j), то линейная функция от его координат также асимптотически нормальна. Следовательно, при очевидных условиях регулярности f_n (X_n) – асимптотически нормальная случайная величина с математическим ожиданием f_n (а) и дисперсией

.

Для практического использования асимптотической нормальности f_n (X_n) остается заменить неизвестные моменты а и ∑ на их оценки. Например, если X_n – это среднее арифметическое независимых одинаково распределенных случайных векторов, то а можно заменить на X_n, а ∑ - на выборочную ковариационную матрицу.

Пример. Пусть Y ₁, Y ₂, …, Y_n – независимые одинаково распределенные случайные величины с математическим ожиданием а и дисперсией σ². В качестве X_n (k = 1) рассмотрим выборочное среднее арифметическое

.

Как известно, в силу закона больших чисел → а = М (У). Следовательно, для получения распределений функций от выборочного среднего арифметического можно использовать метод линеаризации. В качестве примера рассмотрим f_n (y) = f (y) = y ². Тогда

.

Из этого соотношения следует, что с точностью до бесконечно малых более высокого порядка

.

Поскольку в соответствии с Центральной Предельной Теоремой выборочное среднее арифметическое является асимптотически нормальной случайной величиной с математическим ожиданием а и дисперсией σ²/ n, то квадрат этой статистики является асимптотически нормальной случайной величиной с математическим ожиданием а ² и дисперсией 4 а ²σ²/ n. Для практического использования может оказаться полезной замена параметров (асимптотического нормального распределения) на их оценки, а именно, математического ожидания – на , а дисперсии – на , где s² – выборочная дисперсия.

Большое внимание (целая глава!) уделено методу линеаризации в классическом учебнике Е.С. Вентцель [7].

 

П-5. Принцип инвариантности

Пусть Y ₁, Y ₂, …, Y_n – независимые одинаково распределенные случайные величины с непрерывной функцией распределения F (x). Многие используемые в прикладной статистике функции от результатов наблюдений выражаются через эмпирическую функцию распределения F_n (x), при каждом x равную доле наблюдений, не превосходящих x. К ним относятся статистики Колмогорова, Смирнова, омега-квадрат, обсуждаемые в главе 2. Отметим, что и другие статистики выражаются через эмпирическую функцию распределения, например:

.

Полезным является преобразование Н.В.Смирнова t = F (x). Тогда независимые случайные величины Z_j = F (Y_j), j = 1, 2, …, n, имеют равномерное распределение на отрезке [0; 1]. Рассмотрим построенную по ним эмпирическую функцию распределения F_n (t), 0 < t < 1. Эмпирическим процессом называется случайный процесс

.

Рассмотрим критерии проверки согласия функции распределения выборки с фиксированной функцией распределения F (x). Статистика критерия Колмогорова записывается в виде

статистика критерия Смирнова – это

а статистика критерия омега-квадрат (известного также как критерий Крамера - Мизеса - Смирнова) имеет вид

.

Случайный процесс ξ _n (t) имеет нулевое математическое ожидание и ковариационную функцию М ξ _n (s)ξ _n (t) = min (s,t) – st. Рассмотрим гауссовский случайный процесс ξ(t) с такими же математическим ожиданием и ковариационной функцией. Он называется броуновским мостом. (Напомним, что гауссовским процесс именуется потому, что вектор (ξ(t ₁), ξ(t ₂), …, ξ(t_k)) имеет многомерное нормальное распределение при любых наборах моментов времени t ₁, t ₂, …, t_k.)

Пусть f – функционал, определенный на множестве возможных траекторий случайных процессов. Принцип инвариантности [1] состоит в том, что последовательность распределений случайных величин f (ξ _n) сходится при n → ∞ к распределению случайной величины f (ξ). Сходимость по распределению обозначим символом =>. Тогда принцип инвариантности кратко записывается так: f (ξ _n) => f (ξ). В частности, согласно принципу инвариантности статистика Колмогорова и статистика омега квадрат сходятся по распределению к распределениям соответствующих функционалов от случайного процесса ξ:

=> , => .

Таким образом, от проблем прикладной статистики сделан переход к теории случайных процессов. Методами этой теории найдены распределения случайных величин

, ,

т.е. предельные распределения статистик Колмогорова и омега-квадрат, а также и многих иных. Следовательно, принцип инвариантности – инструмент получения предельных распределений функций от результатов наблюдений, используемых в прикладной статистике.

Обоснование принципу инвариантности может быть дано на основе теории сходимости вероятностных мер в функциональных пространствах [8]. Более простой подход, позволяющий к тому же получать необходимые и достаточные условия в предельной теории статистик интегрального типа (принцип инвариантности к ним нельзя применить), рассмотрен в главе 2.

Почему «принцип инвариантности» так назван? Обратим внимание, что предельные распределения рассматриваемых статистик не зависят от их функции распределения F (x). Другими словами, предельное распределение инвариантно относительно выбора F (x).

В более широком смысле термин «принцип инвариантности» применяют тогда, когда предельное распределение не зависит от тех или иных характеристик исходных распределений [1]. В этом смысле наиболее известный «принцип инвариантности» - это Центральная Предельная Теорема, поскольку предельное стандартное нормальное распределение – одно и то же для всех возможных распределений независимых одинаково распределенных слагаемых (лишь бы слагаемые имели конечные математическое ожидание и дисперсию).

 

Литература

 

1. Вероятность и математическая статистика: Энциклопедия / Гл. ред. Ю.В.Прохоров. – М.: Большая Российская энциклопедия, 1999. – 910с.

2. Гнеденко Б.В. Курс теории вероятностей: Учебник. 7-е изд., исправл. - М.: Эдиториал УРСС, 2001. 320 с.

3. Рао С.Р. Линейные статистические методы и их применения. – М.: Наука, 1968. 548 с.

4. Келли Дж. Общая топология. - М.: Наука, 1968. - 384 с.

5. Орлов А.И. Устойчивость в социально-экономических моделях. - М.: Наука, 1979. - 296 с.

6. Орлов А.И. Асимптотическое поведение статистик интегрального типа. – В сб.: Вероятностные процессы и их приложения. Межвузовский сборник. - М.: МИЭМ, 1989. С.118-123.

7. Вентцель Е.С. Теория вероятностей. – М.: Наука, 1964.- 576 с.

8. Биллингсли П. Сходимость вероятностных мер. – М.: Наука, 1977. - 352 с.