Непараметрические оценки плотности

Эмпирическая функция распределения – это состоятельная непараметрическая оценка функции распределения числовой случайной величины. А как оценить плотность? Если продифференцировать эмпирическую функцию распределения, то получим бесконечности в точках, соответствующих элементам выборки, и 0 во всех остальных. Ясно, что это не оценка плотности.

Как же действовать? Каждому элементу выборки соответствует в эмпирическом распределении вероятность 1/ n, где n – объем выборки. Целесообразно эту вероятность не помещать в одну точку, а «размазать» вокруг нее, построив «холмик». Если «холмики» налегают друг на друга, то получаем положительную плотность на всей прямой. Чтобы получить состоятельную оценку плотности, необходимо выбирать ширину «холмика» в зависимости от объема выборки. При этом число «холмиков», покрывающих фиксированную точку, должно безгранично расти. Но одновременно доле таких «холмиков» следует убывать, поскольку покрывающие «холмики» должны быть порождены лишь ближайшими членами вариационного ряда.

Реализация описанной идеи привела к различным вариантам непараметрических оценок плотности. Основополагающей является работа Н.В.Смирнова 1951 г. [23]. Вначале рассматривались непараметрические оценки плотности распределения числовых случайных величин и конечномерных случайных векторов. В 1980-х годах удалось сконструировать такие оценки в пространствах произвольной природы [24], а затем и для конкретных видов нечисловых данных [25].

Сначала рассмотрим непараметрические оценки плотности в наиболее общей ситуации. В статистике нечисловых данных выделяют общую теорию и статистику в конкретных пространствах нечисловой природы (например, статистику ранжировок). В общей теории есть два основных сюжета. Один связан со средними величинами и асимптотическим поведением решений экстремальных статистических задач, второй - с непараметрическими оценками плотности. Первый сюжет только что рассмотрен, второму посвящена заключительная часть настоящей главы.

Понятие плотности в пространстве произвольной природы Х требует специального обсуждения. В пространстве Х должна быть выделена некоторая специальная мера , относительно которой будут рассматриваться плотности, соответствующие другим мерам, например, мере , задающей распределение вероятностей некоторого случайного элемента . В таком случае (А) = Р( А) для любого случайного события А. Плотность f (x), соответствующая мере - это такая функция, что

для любого случайного события А. Для случайных величин и векторов мера - это объем множества А, в математических терминах - мера Лебега. Для дискретных случайных величин и элементов со значениями в конечном множестве Х в качестве меры естественно использовать считающую меру, которая событию А ставит в соответствие число его элементов. Используют также нормированную случайную меру, когда число точек в множестве А делят на число точек во всем пространстве Х. В случае считающей меры значение плотности в точке х совпадает с вероятностью попасть в точку х, т.е. f (x) = Р(ξ = х). Таким образом, с рассматриваемой точки зрения стирается грань между понятиями «плотность вероятности» и «вероятность (попасть в точку)».

Как могут быть использованы непараметрические оценки плотности распределения вероятностей в пространствах нечисловой природы? Например, для решения задач классификации (диагностики, распознавания образов - см. главу 3.2). Зная плотности распределения классов, можно решать основные задачи диагностики - как задачи выделения кластеров, так и задачи отнесения вновь поступающего объекта к одному из диагностических классов. В задачах кластер-анализа можно находить моды плотности и принимать их за центры кластеров или за начальные точки итерационных методов типа k -средних или динамических сгущений. В задачах собственно диагностики (дискриминации, распознавания образов с учителем) можно принимать решения о диагностике объектов на основе отношения плотностей, соответствующих классам. При неизвестных плотностях представляется естественным использовать их состоятельные оценки.

Методы оценивания плотности вероятности в пространствах общего вида предложены и первоначально изучены в работе [24]. В частности, в задачах диагностики объектов нечисловой природы предлагаем использовать непараметрические ядерные оценки плотности типа Парзена - Розенблатта (этот вид оценок и его название впервые были введены в статье [24]). Они имеют вид:

где К: - так называемая ядерная функция, x ₁, x ₂, …, x_n X - выборка, по которой оценивается плотность, d (x_i , x) - показатель различия (метрика, расстояние, мера близости) между элементом выборки x_i и точкой x, в которой оценивается плотность, последовательность h_n показателей размытости такова, что h_n 0 и nh_n при , а - нормирующий множитель, обеспечивающий выполнение условия нормировки (интеграл по всему пространству от непараметрической оценки плотности f_n(x) по мере должен равняться 1). Ранее американские исследователи Парзен и Розенблатт использовали подобные статистики в случае с d (x_i , x) = | x_i - x |.

Введенные описанным образом ядерные оценки плотности - частный случай так называемых линейных оценок, также впервые предложенных в работе [24]. В теоретическом плане они выделяются тем, что удается получать результаты такого же типа, что в классическом одномерном случае, но, разумеется, с помощью совсем иного математического аппарата.

Свойства непараметрических ядерных оценок плотности. Рассмотрим выборку со значениями в некотором пространстве произвольного вида. В этом пространстве предполагаются заданными показатель различия d имера . Одна из основных идей рассматриваемого подхода состоит в том, чтобы согласовать их между собой. А именно, на их основе построим новый показатель различия d ₁, так называемый "естественный", в терминах которого проще формулируются свойства непараметрической оценки плотности.Для этогорассмотрим шары радиуса t > 0 и их меры F_x(t) = (L_t (x)). Предположим, что F_x (t) как функция t при фиксированном x непрерывна и строго возрастает. Введем функцию d ₁(x,y) = F_x(d(x,y)). Это - монотонное преобразование показателя различия или расстояния, а потому d ₁(x,y) - также показатель различия (даже если d - метрика, для d ₁неравенство треугольника может быть не выполнено). Другими словами, d ₁(x,y), как и d (x,y), можно рассматривать как показатель различия (меру близости) между x и y.

Для вновь введенного показателя различия d ₁(x,y) введем соответствующие шары . Поскольку обратная функция F ^-1 _x (t) определена однозначно, то

,

где T = F ^{- 1} _x (t). Следовательно, справедлива цепочка равенств F ¹ _х (t) = (L _{1 t} (x))= (L_T (x)) = F_x (F ^-1 _x (t)) = t (для всех тех значений параметра t, для которых определены все участвующие в записи математические объекты).

Переход от d к d ₁ напоминает классическое преобразование, использованное Н.В. Смирновым при изучении непараметрических критериев согласия и однородности, а именно, преобразование , переводящее случайную величину с непрерывной функцией распределения F(x) в случайную величину , равномерно распределенную на отрезке [0,1]. Оба рассматриваемых преобразования существенно упрощают дальнейшие рассмотрения. Преобразование d ₁ = F_x(d) зависит от точки x, что не влияет на дальнейшие рассуждения, поскольку ограничиваемся изучением сходимости в отдельно взятой точке.

Функцию d ₁(x,y), для которой мера шара радиуса t равна t, называем в соответствии с работой [24] «естественным показателем различия» или «естественной метрикой». В случае конечномерного пространства R^k и евклидовой метрики d имеем d ₁(x,y) = c_k d^k (x,y), где c_k - объем шара единичного радиуса в R^k.

Поскольку можно записать, что

,

где

,

то переход от одного показателя различия к другому, т.е. от d к d ₁, соответствует переходу от одной ядерной функции к другой, т.е. от K к K ₁. Выгода от такого перехода заключается в том, что утверждения о поведении непараметрических оценок плотности приобретают более простую формулировку.

Теорема 5. Пусть d - естественная метрика, плотность f непрерывна в точке x и ограничена на всем пространстве X, причем f (x) >0, ядерная функция K (u)удовлетворяет простым условиям регулярности

.

Тогда _n (h_n ,x) = nh_n, оценка f_n (x)является состоятельной, т.е. f_n (x) f (x)по вероятности при n и, кроме того,

Теорема 5 доказывается методами, развитыми в работе [24]. Однако остается открытым вопрос о скорости сходимости ядерных оценок, в частности, о поведении величины _n = M (f_n (x) -f (x))² - среднего квадрата ошибки,и об оптимальном выборе показателей размытости h_n . Для того, чтобы продвинуться в решении этого вопроса, введем новые понятия. Для случайного элемента X ()со значениями в X рассмотрим т.н. круговое распределение G (x,t) = P { d (X (), x) < t }и круговую плотность g (x,t) = G'_t (x,t).

Теорема 6. Пусть ядерная функция K (u)непрерывна и финитна, т.е. существует число E такое, что K (u) =0 при u>E. Пусть круговая плотность является достаточно гладкой, т.е. допускает разложение

при некотором k, причем остаточный член равномерно ограничен на[0 ,hE ]. Пусть

Тогда

Доказательство теоремы 6 проводится с помощью разработанной в статистике объектов нечисловой природы математической техники, образцы которой представлены, в частности, в работе [24]. Если коэффициенты при основных членах в правой части последней формулы не равны 0, то величина _n достигает минимума, равного при Эти выводы совпадают с классическими результатами, полученными ранее рядом авторов для весьма частного случая прямой X = R ¹(см., например, монографию [26, с.316]). Заметим, что для уменьшения смещения оценки приходится применять знакопеременные ядра K (u).

Непараметрические оценки плотности в конечных пространствах [25]. В случае пространств из конечного числа элементов естественных метрик не существует. Однако можно получить аналоги теорем 5 и 6, переходя к пределу не только по объему выборки n, но и по новому параметру дискретности m.

Рассмотрим некоторую последовательность X_m , m = 1, 2, …, конечных пространств. Пусть в X_m заданы показатели различия d_m. Будем использовать нормированные считающие меры ставящие в соответствие каждому подмножеству А долю элементов всего пространства X_m , входящих в А. Как и ранее, рассмотрим как функцию t объем шара радиуса t, т.е.

Введем аналог естественного показателя различия Наконец, рассмотрим аналоги преобразования Смирнова Функции , в отличие от ситуации предыдущего раздела, уже не совпадают тождественно с t, они кусочно-постоянны и имеют скачки в некоторых точках t_i, i = 1, 2, …, причем в этих точках

Теорема 7. Пусть точки скачков равномерно сближаются, т.е. при (другими словами, -t| при ). Тогда существует последовательность параметров дискретности m_n такая, что при предельном переходе справедливы заключения теорем 5 и 6.

Пример 1. Пространство всех подмножеств конечного множества из m элементов допускает (см. главу 1.1 и монографию [7]) аксиоматическое введение метрики где - символ симметрической разности множеств. Рассмотрим непараметрическую ядерную оценку плотности типа Парзена - Розенблатта

где - функция нормального стандартного распределения. Можно показать, что эта оценка удовлетворяет условиям теоремы 7 с

Пример 2. Рассмотрим пространство функций определенных на конечном множестве , со значениями в конечном множестве . Это пространство можно интерпретировать как пространство нечетких множеств (см. главу 1.1), а именно, Y_r - носитель нечеткого множества, а Z_q - множество значений функции принадлежности. Очевидно, число элементов пространства X_m равно (q+1)^r . Будем использовать расстояние Непараметрическая оценка плотности имеет вид:

Если , то при > выполнены условия теоремы 7, а потому справедливы теоремы 5 и 6.

Пример 3. Рассматривая пространства ранжировок m объектов, в качестве расстояния d(A,B) между ранжировками A и B примем минимальное число инверсий, необходимых для перехода от A к B. Тогда max(t_i -t_{i- 1}) не стремится к 0 при , условия теоремы 7 не выполнены.

Пример 4. В прикладных работах наиболее распространенный пример объектов нечисловой природы – вектор разнотипных данных: реальный объект описывается вектором, часть координат которого - значения количественных признаков, а часть - качественных (номинальных и порядковых). Для пространств разнотипных признаков, т.е. декартовых произведений непрерывных и дискретных пространств, возможны различные постановки. Пусть, например, число градаций качественных признаков остается постоянным. Тогда непараметрическая оценка плотности сводится к произведению двух величин - частоты попадания в точку в пространстве качественных признаков и классической оценки типа Парзена-Розенблатта в пространстве количественных переменных. В общем случае расстояние d (x,y) можно, например, рассматривать как сумму трех расстояний. А именно, евклидова расстояния d ₁ между количественными факторами, расстояния d ₂ между номинальными признаками (d₂(x,y) = 0, если x = y, и d ₂(x,y) = 1, если ) и расстояния d ₃ между порядковыми переменными (если x и y - номера градаций, то d ₃(x,y) = |x - y |). Наличие количественных факторов приводит к непрерывности и строгому возрастанию функции F_mx (t), а потому для непараметрических оценок плотности в пространствах разнотипных признаков верны теоремы 5 - 6.

Программная реализация описания числовых данных с помощью непараметрических оценок плотности включена в ряд программных продуктов по прикладной статистике, в частности, в пакет программ анализа данных ППАНД [27].

 

Литература

1. Новицкий П.В., Зограф И.А. Оценка погрешностей результатов измерений. - Л.: Энергоатомиздат, 1985. - 248 с.

2. Новицкий П.В. Основы информационной теории измерительных устройств. -Л.: Энергия, 1968. - 248 с.

3. Боровков А.А. Теория вероятностей. - М.: Наука, 1976. - 352 с.

4. Петров В.В. Суммы независимых случайных величин. - М.: Наука, 1972. - 416 с.

5. Золотарев В.М. Современная теория суммирования независимых случайных величин. - М.: Наука, 1986. - 416 с.

6. Егорова Л.А., Харитонов Ю.С., Соколовская Л.В.//Заводская лаборатория. - 1976. Т.42, №10. С. 1237.

7. Орлов А.И. Устойчивость в социально-экономических моделях. - М.: Наука,1979. – 296 с.

8. Колмогоров А.Н. Избранные труды: Математика и механика. - М.: Наука, 1985. С. 136-138.

9. Пфанцагль И. Теория измерений. - М.: Мир, 1976. - 165 с.

10. Орлов А.И. Эконометрика. Учебник для вузов. Изд. 2-е, исправленное и дополненное. - М.: Изд-во "Экзамен", 2003. – 576 с.

11. Орлов А.И. Вероятностные модели конкретных видов объектов нечисловой природы. – Журнал «Заводская лаборатория». 1995. Т.61. No.5. С.43-51.

12. Вероятность и математическая статистика: Энциклопедия / Гл. ред. Ю.В. Прохоров. - М.: Большая Российская энциклопедия, 1999. - 910 с.

13. Дэвид Г. Метод парных сравнений. - М.: Статистика, 1978.- 144 с.

14. Орлов А.И. Логистическое распределение. – В сб.: Математическая энциклопедия. Т.3. - М.: Советская энциклопедия, 1982. - С.414.

15. Тюрин Ю.Н., Василевич А.П., Андрукович П.Ф. Статистические модели ранжирования. - В сб.: Статистические методы анализа экспертных оценок. - М.: Наука, 1977. - С.30-58.

16. Орлов А.И. Случайные множества с независимыми элементами (люсианы) и их применения. – В сб.: Алгоритмическое и программное обеспечение прикладного статистического анализа. Ученые записки по статистике, т.36. - М.: Наука, 1980. - С. 287-308.

17. Орлов А.И. Парные сравнения в асимптотике Колмогорова. – В сб.: Экспертные оценки в задачах управления. - М.: Изд-во Института проблем управления АН СССР, 1982. - С. 58-66.

18. Орлов А.И. Задачи оптимизации и нечеткие переменные. - М.: Знание, 1980. – 64 с.

19. Прохоров Ю.В., Розанов Ю.А. Теория вероятностей. (Основные понятия. Предельные теоремы. Случайные процессы.) - М.: Наука, 1973.- 496 с.

20. Келли Дж. Общая топология. - М.: Наука, 1968. - 384 с.

21. Орлов А.И. Асимптотика решений экстремальных статистических задач. – В сб.: Анализ нечисловых данных в системных исследованиях. Сборник трудов. Вып.10. - М.: Всесоюзный научно-исследовательский институт системных исследований, 1982. - С. 4-12.

22. Жихарев В.Н., Орлов А.И. Законы больших чисел и состоятельность статистических оценок в пространствах произвольной природы. – В сб.: Статистические методы оценивания и проверки гипотез. Межвузовский сборник научных трудов. – Пермь: Изд-во Пермского государственного университета, 1998. С.65-84.

23. Смирнов Н.В. О приближении плотностей распределения случайных величин. – Ученые записки МГПИ им. В.П.Потемкина. 1951. Т.XVI. Вып.3. С. 69-96.

24. Орлов А.И. Непараметрические оценки плотности в топологических пространствах. – В сб.: Прикладная статистика. Ученые записки по статистике, т.45. - М.: Наука, 1983. - С. 12-40.

25. Орлов А.И. Ядерные оценки плотности в пространствах произвольной природы. – В сб.: Статистические методы оценивания и проверки гипотез. Межвузовский сборник научных трудов. - Пермь: Пермский госуниверситет, 1996, с.68-75.

26. Ибрагимов И.А., Хасьминский Р.З. Асимптотическая теория оценивания. - М.: Наука, 1979. - 528 с.

27. Пакет программ анализа данных "ППАНД". Учебное пособие / Орлов А.И., Легостаева И.Л. и еще 9 соавторов. - М.: Сотрудничающий центр ВОЗ по профессиональной гигиене, 1990. - 93 с.

 

Контрольные вопросы и задачи

 

1. Часто ли результаты измерений имеют нормальное распределение?

2. По выборке фактических данных о величине годового дохода (в тыс. долл.), взятых на конец 1970-х гг. (США), постройте вариационный ряд, гистограмму (группируя данные по 6-ти равным интервалам); определить выборочные среднее арифметическое, медиану и моду:

2,0; 13,4; 2,2; 6,7; 11,1; 10,0; 2,6; 12,9; 10,5; 9,2; 11,1;

14,0; 26,0; 17,5; 7,2; 18,7; 9,9; 7,6; 11,7;11,3; 6,5.

3. Дано распределение по градациям (табл.6) почасовой зарплаты 303 рабочих, занятых в промышленности (f_i - число рабочих, имеющих почасовую зарплату x_i). Постройте эмпирическую функцию распределения, найти выборочные медиану, моду и среднее арифметическое.

 

Таблица 6.

Распределение рабочих по ставкам почасовой оплаты

xi	2,5	2,6	2,7	2,8	2,9	3,0	3,1	3,2	3,3	3,4
fi

 

4. Какие средние величины целесообразно использовать при расчете средней заработной платы (или среднего дохода)?

5. Постройте пример, показывающий некорректность использования среднего арифметического f (X ₁, X ₂) = (X ₁ + X ₂ )/ 2 в порядковой шкале, используя допустимое преобразование g (x) = x ² (при положительных усредняемых величинах х).

6. Постройте пример, показывающий некорректность использования среднего геометрического в порядковой шкале. Другими словами, приведите пример чисел x ₁, x ₂, y ₁, y ₂ и строго возрастающего преобразования f: R ¹ → R ¹ таких, что

(x ₁ x ₂)^1/2 < (y ₁ y ₂)^1/2, [f(x ₁) f (x ₂)]^1/2 > [ f (y ₁) f (y ₂)]^1/2_.

7. Приведите пример чисел x ₁, x ₂, y ₁, y ₂ и строго возрастающего преобразования f: R ¹ → R ¹ таких, что

[(x ₁)² +(x ₂)²]^1/2 < [(y ₁)² +(y ₂)²]^1/2,

[(f (x ₁))² +(f (x ₂))²]^1/2 > [(f (y ₁))² +(f (y ₂))²]^1/2.

8. Какая математическая модель используется для описания случайного множества?

9. Как соотносятся эмпирические и теоретические средние для числовых данных и в пространствах произвольной природы?

10. Почему описание числовых данных с помощью непараметрических оценок плотности предпочтительнее их описания с помощью гистограмм?