Оценка неизвестных параметров Понятие оценки параметров

Пусть изучается случайная величина X с законом распределения, зависящим от одного или нескольких параметров. Например, это пара-

(п^т. р~^а \

метр а в распределении Пуассона (Р{Х — т} = ——— j или пара­метры а и а для нормального закона распределения.

Требуется по выборке Xi, Х₂, • ■ •,Х_п, полученной в результате п наблюдений (опытов), оценить неизвестный параметр в.

Напомним, что Х\, Х₂,..., Х_п — случайные величины: Х\ — ре­зультат первого наблюдения, Х₂ — второго и т.д., причем с.в. Х_г, i = 1,2,..., п, имеют такое же распределение, что и с. в. X; конкретная выборка xi,х₂,...,х_п — это значения (реализация) независимых с. в.

x_2j..., х_п. ^ ^

К1 Статистической оценкой в_п (далее просто — оценкой в) параме­

тра в теоретического распределения называют его приближенное зна­чение, зависящее от данных выбора.

Очевидно, что оценка 0 есть значение некоторой функции резуль­татов наблюдений над случайной величиной, т. е.

в = в(Х_иХ₂,..._уХ_п). (7.1)

Функцию результатов наблюдений (т. е. функцию выборки) назы- вают статистикой.

Можно сказать, что оценка в параметра в есть статистика, которая в определенном смысле близка к истинному значению в.

Так, F*(x) есть оценка F_x{x), гистограмма — плотности f{x).

Оценка в является случайной величиной, так как является функ­цией независимых с. в. Xi, Х₂у• • •, Х_п\ если произвести другую выборку, то функция примет, вообще говоря, другое значение.

Бели число опытов (наблюдений) невелико, то замена неизвестного параметра в его оценкой 0, например математического ожидания сред­ним арифметическим, приводит к ошибке. Это ошибка в среднем тем больше, чем меньше число опытов.

К оценке любого параметра предъявляется ряд требований, кото­рым она должна удовлетворять, чтобы быть «близкой» к истинному значению параметра, т. е. быть в каком-то смысле «доброкачественной» оценкой.

Свойства статистических оценок

Качество оценки определяют, проверяя, обладает ли она свойства­ми несмещенности, состоятельности, эффективности. нч| Оценка 0 параметра 9 называется несмещенной, если МО = 9.

Если М9 Ф 0, то оценка в называется смещенной.

Чтобы оценка 0 не давала систематической ошибки (ошибки одного знака) в сторону завышения (М9 > 9) или занижения (М9 < в)_: на­до потребовать, чтобы «математическое ожидание оценки было равно оцениваемому параметру». ^ Рч| Если Мв_п —> в_у то оценка в_п называется асимптотически несме­

щенной.

Требование несмещенности особенно важно при малом числе на­блюдений (опытов). |н\| Оценка в_п параметра 9 называется состоятельной, если она схо-

^ дится по вероятности к оцениваемому параметру:

$_п —-—> 9,

п—»оо

т. е. для любого г > 0 выполнено

Пт р\\9_п-е\<_£) = 1.

п-+оо I J

Это означает, что с увеличением объема выборки мы все ближе приближаемся к истинному значению параметра 0, т. е. практически достоверно 9_п да 9.

Свойство состоятельности обязательно для любого правила оцени­вания (несостоятельные оценки не используются).

Состоятельность оценки в_п часто может быть установлена с помо­щью следующей теоремы.

Теорема 7.1. Если оценка в_п параметра в является несмещенной и D$_n —>■ 0 при п оо, то 9_п — состоятельная оценка.

□ Запишем неравенство Чебышева для с. в. в_п для любого е > 0:

р{\9_п-9\<е)^\-Щ±.

£

Так как по условию lim D8_n = 0, то lim Р(|0_П — Щ < ^ 1- Но

п—>оо п—>оо

вероятность любого события не превышает 1 и, следовательно,

Р(\ё_п-в \<е) = и

т. е. &_п — состоятельная оценка параметра 9. Я

Несмещенная оценка 9_п параметра 9 называется эффективной, если она имеет наименьшую дисперсию с^еди всех возможных несме­щенных оценок параметра 0, т. е. оценка 9_п эффективна, если ее дис­персия минимальна.

р{хи9) _

Эффективную оценку в ряде случаев можно найти, используя не­равенство Рао-Крамера:

D8_n Js

п-Г

где I = /(0) — информация Фишера, определяемая в дискретном слу­чае формулой

1 = м[-§-_в\пр(Х,в)] =52

г—\

где р{х_}в) = р{Х = х}, а в непрерывном — формулой

оо ₀

ДМ) \

'fiwr

f (x,0) dx,

где f(x,9) -— плотность распределения н.с.в. X.

Эффективность оценки определяется отношением

Ов_п

где в* — эффективная оценка. Чем ближе eff в_п к 1, тем эффективнее оценка 9_п. Если eff в_п —> 1 при п —» оо, то оценка называется асимпто­тически эффективной.

Отметим, что на практике не всегда удается удовлетворить всем перечисленным выше требованиям (несмещенность, состоятельность, эффективность), и поэтому приходится довольствоваться оценками, не обладающими сразу всеми тремя свойствами. Все же три свойства, как правило, выделяют оценку однозначно.

Точечные оценки математического ожидания и дисперсии

Пусть изучается с. в. X с математическим ожиданием а — MX и дисперсией DX-, оба параметра неизвестны.

Статистика, используемая в качестве приближенного значения не­известного параметра генеральной совокупности, называется ее точеч­ной оценкой. То есть точечная оценка характеристики генеральной со­вокупности — это число, определяемое по выборке.

Пусть х\,х₂,. •. — выборка, полученная в результате проведе­ния п независимых наблюдений за с. в. X. Чтобы подчеркнуть случай­ный характер величин xi, х₂,., перепишем их в виде Xi,X₂,......,Х_п, т.е. под Xi будем понимать значение с.в. X в г-м опыте. Случайные величины X1, Х₂, ■ • • > Х_п можно рассматривать как п не­зависимых «экземпляров» величины X. Поэтому МХ\ = МХ₂ =...... = МХ_п = MX = a, DX 1 - DX₂ =... = DX_n = DX.

Теорема 7.2. Пусть Xi, Х₂,..., Х_п — выборка из генеральной совокуп­ности и MXi = MX = a, DXi — DX (i = 1, n). Тогда выборочное среднее

n

Х_в = ^ У ^ Xi — несмещенная и состоятельная оценка математического t=i

ожидания MX.

Q Найдем м. о. оценки Х_&:

МХъ = м(1 £х<) = = = 5 ■ - • ^а-

^ г=1 ' 1 ' г-1

Отсюда по определению получаем, что Х_ъ — несмещенная оценка MX. Далее, согласно теореме Чебышева (п. 5.2), для любого е > 0 имеет

^¹ г=1 г=1 ^}

которое, согласно условию теоремы, можно переписать так:

Ит Р{\Х_В-МХ\ < е} = 1

n-J-oc ^{k J}

или, что то же самое, lim р{|0 — 9\ < е} = 1. Согласно определению

_ га—юо ^k

получаем, что Х_в — состоятельная оценка MX. Ш

Можно показать, что при нормальном распределении с. в. X эта оценка, т. е. Х_в, будет и эффективной. На практике во всех случа­ях в качестве оценки математического ожидания используется среднее арифметическое, т.е. Х_в.

В статистике оценку математического ожидания принято обозна­чать через X или Х_в, а не X. Покажем, что

МДз - ^Ч^ВХ. (7.2)

Действительно,

MD_B = Ы(i ±(X_t - X)²) = М(I ±.X? - (I ± ') = = к^м(£^хг) - ^^м№² + +.• • +

- 4г • m(Xi + х₂ +... + x_nf = UmxI + мх\ +... + мх²)-

п^£

--..+Xl+2{X_YX₂ + Х_хХ_г + +... + Xn-iXn)) =

Yl* \ v................. v ■. I ^ /

Cl

=. (Mi_t² + MXI +... + MXD-

n^z

² (MX_l • MI₂ + MXiМХз + MX₂MXz +... + MXn^tMXn) =

n²

• (MX² + MX² +... + MX²)-

2 _____________

место равенство

n ---------------- v-

n

- -—{MX. MX + MX ■ MX +... + MX ■ MX) = n ¹

- - (MX)²) =. _DX.

Из равенства (7.2) следует, что MD_B ф DX, т.е. выборочная дис­персия является смещенной оценкой дисперсии DX. Поэтому выбороч­ную дисперсию исправляют, умножив ее на ^п, получая формулу

5² - (см. (6.11)).

Теорема 7.3. Пусть Х\_у Х₂,...,Х_п — выборка из генеральной совокуп­ности и MXi = MX — а, DXi = DX (г = 1,п). Тогда исправленная

п

выборочная дисперсия S² = ^ ~~ -^О^{2 =} _п ^П ^ ' ^в ^— несмещен-

г=1

ная состоятельная оценка дисперсии DX.

Q Примем без доказательства состоятельность оценки S². Докажем ее несмещенность. Имеем

MS² = М = - MD_B = • VL^IBX = DX,

\п — 1 / п — 1 п — 1 ^п

т. е. М5² = DX. Отсюда по определению получаем, что — несме­щенная оценка DX. ■

Отметим, что при больших значениях п разница между D_B и очень мала и они практически равны, поэтому оценку S² используют для оценки дисперсии при малых выборках, обычно при п ^ 30. Имеют место следующие теоремы.

Теорема 7.4. Относительная частота появления события А в п не­зависимых испытаниях является несмещенной состоятельной и эффек­тивной оценкой неизвестной вероятности р = Р{А) этого события (р — вероятность наступления события А в каждом испытании).

Отметим, что состоятельность оценки в — непосредственно вы­текает из теоремы Бернулли (см. п. 5.3).

Теорема 7.5. Эмпирическая функция распределения выборки F*(x) является несмещенной состоятельной оценкой функции распределения F(x) случайной величины X.

Пример 7.1. Монету подбрасывают п раз. Вероятность выпадения гер­ба при каждом подбрасывания равна р. В ходе опыта монета выпала гербом па раз. Показать несмещенность оценки в = вероятности в = р выпадения герба в каждом опыте.

О Число успехов (пд) имеет распределение Бернулли. Тогда М(па) = = пр, D(ua) = npq = пр(1 — р). Следовательно, МО = М (j^-^j =

— — ■ М(п_А) — ^ • п ■ р — р = т. е. оценка 0 = — несмещенная. •