Методы нахождения точечных оценок

Рассмотрим наиболее распространенные методы получения точеч­ных оценок параметров распределения: метод моментов и метод мак­симального правдоподобия (кратко: ММП).

Метод моментов

Метод моментов для нахождения точечных оценок неизвестных параметров заданного распределения состоит в приравнивании теоре­тических моментов распределения соответствующим эмпирическим моментам, найденных по выборке.

Так, если распределение зависит от одного параметра в (например, задан вид плотности распределения /(ж,0)), то для нахождения его оценки надо решить относительно в одно уравнение:

MX — Х_в

оо

(MX = J х • f(x,e) dx = <р(в) есть функция от в).

—оо

Если распределение зависит от двух параметров (например, вид плотности распределения /(ж,01,02)) — надо решить относительно в\ и #2 систему уравнений:

MX ~ X DX — D_B

надо

И, наконец, если надо оценить п параметров 9\, 02, • • • > решить одну из систем вида:

MX = X, DX = DB,

г—1 п

MX* = I Е XI

ИЛИ

г=\

 

М(Х-МХ)^к = ±52(Х_г-Х_в)^к.

MXk = ±f:X?;

г—1

г=Х

Метод моментов является наиболее простым методом оценки пара­метров. Он был предложен в 1894 г. Пирсоном. Оценки метода момен­тов обычно состоятельны, однако их эффективность часто значительно меньше единицы.

Пример 7.2. Найти оценки параметров нормального распределения с. в. X методом моментов.

0 Требуется по выборке х\, х₂, ■. -, х_п найти точечные оценки неиз­вестных параметров а — MX = 0i и а² = DX = 02.

По методу моментов приравниваем их, соответственно, к выбороч­ному среднему и выборочной дисперсии (qi = MX — начальный мо­мент I порядка, [i2 = DX — центральный момент II порядка). Полу­чаем

(мХ=х_в, [DX = D_Bt

т. е.

{

а = х_В)

а² - D_B.

Итак, искомые оценки параметров нормального распределения:

1 — Х_в И 02 = VDb> •

Метод максимального правдоподобия

а

Пусть rci, Х2_У • •.,х_п — выборка, полученная в результате проведе­ния п независимых наблюдений за с. в. X. И пусть вид закона рас­пределения величины X, например, вид плотности f(x, 0), известен, но

неизвестен параметр 0, которым определяется этот закон. Требуется по выборке оценить параметр 9.

В основе метода максимального правдоподобия (ММП), предло­женного Р. Фишером, лежит понятие функции правдоподобия.

Функцией правдоподобия, построенной по выборке х₂,..., х_п, на­зывается функция аргумента 9 вида

L(x_ux2,...,x_n;0) = f(x_u9) ■ /(х2,в) •... • f{x_n,9)

или

п

L(x,0) = J[f(xi,0), i=i

где — плотность распределения с. в. X в случае, если X — не­

прерывная. Если X — дискретная с. в., то функция правдоподобия име­ет вид

п

L(x,9) =р{х_и0) -р(х2,в) •...-р{х_п,9) =

»=i

где p(x_t7 9) ~ р{Х = хи 9}.

Из определения следует, что чем больше значение функции L(x,8), тем более вероятно (правдоподобнее) появление (при фиксированном в) в результате наблюдений чисел xi,x₂->...,х_п.

За точечную оценку параметра 9, согласно ММП, берут такое его значение 0, при котором функция правдоподобия достигает мак­симума.

Эта оценка, называемая оценкой максимального правдоподобия, является решением уравнения

dL(x,9) d9

Так как функции L(x,9) и In L(x, 9) достигают максимума при од­ном и том же значении 9, то вместо отыскания максимума функции L(x, в) ищут (что проще) максимум функции InL(x,0).

Таким образом, для нахождения оценки максимального правдопо­добия надо:

1. решить уравнение правдоподобия

d(\nL(x,e))

О

do ¹

2.

отобрать то решение, которое обращает функцию в) в мак­

<0,

симум (удобно использовать вторую производную: если

d² 1 пЬ{х,в)

dO

 

то 0 — в — точка максимума).

Если оценке подлежат несколько параметров 0ь 02- - ■ распре­деления, то оценки 0i,...,0_П определяются решением системы уравне­ний правдоподобия:

(д{\п L)

0,

двг

= 0.

djlnL) дв_п

[яГЧ Пример 7.3. Найти оценку параметра а распределения Пуассона ме­тодом максимального правдоподобия.

СJ В данном случае р{Х = т} =-------- j—. Поэтому

ТГЬ*

P{^xii 0) — р{Х = Xi, 0} = ^-"TJ—

Xi.

при Xi £ N. Составляем функцию правдоподобия (для дискретной с. в. X):

₌ 1------------------------

xi! х₂! х_п\ xi\'...'x_nl

Тогда

1п£(ж,0) = — п • в + ^ Xi • 1п0 — ln(#i! • Х2¹- -.. • • х_п1) t=i

и

d\nL(x, 0) 1 ^

(п г=1

"^п+ й

dQ 0

г-1

Уравнение правдоподобия имеет вид:

= 0.

xi

в=в

Отсюда находим

~~ 1 ^П

О ⁼ п ^{Хг = Хв}'

г=\

А так как

<PhiL{x,6)

\ _{в=9 е}г А

г=1

то оценка 9 — х_в является оценкой максимального правдоподобия. Итак, в = а — х_в. •

Метод наименьших квадратов

Метод нахождения оценки 9 неизвестного параметра 9, основанный на минимизации суммы квадратов отклонений выборочных данных от определяемой (искомой) оценки 0, называется методом наименьших квадратов (коротко: МНК).

Другими словами, в МНК требуется найти такое значение 9, кото­рое минимизировало бы сумму

п

F(9) = ^ ^min<

t=i

Отметим, что МНК является наиболее простым методом нахождения оценок параметра 9.

Пример 7.4. Найти оценку параметра а распределения Пуассона ме­тодом наименьших квадратов.

п

Q Найдем точку минимума функции F(0) = — 9)²:

i—i

^ <=1 ' ».=1

П

из уравнения F'(9) = 0 находим критическую точку: —2 ^^(Х^ — 9) = 0,

п п п п

т. е. ^ - ^ 0 = 0, т. е. — ^кр — ^{А так как}

г—1 1=1 i=l г=\

F^f,(9_Kp)=(-2f2(X_t-9)\ = -2£(-1) = 2п>0

п

при любом значении в, то 0_кр = ~ ^ Xi — точка минимума функ-

г=1

ции F(0). Таким образом, оценкой параметра а в распределении Пуас-

п^т • р~^а

сона Р(т\а) = ———, т — 0,1,2,... согласно МНК, является ⁴ т\

п t=1

Можно доказать, что:

М(в)=в = а, D{$) - •

Упражнения

1. Найти оценку параметра распределения Пуассона методом момен­тов.

2. Пользуясь ММП, оценить вероятность появления герба, если при 10 бросаниях монеты герб появился 6 раз.

3. Найти оценку неизвестной вероятности успеха в схеме Бернулли методом моментов и ММП.

4. Дано: с. в. X ~ R[a, £>]. По выборке rci, х₂, • • •, х_п оценить величины а и 6 методом моментов.

5. Найти оценки параметров нормального распределения с. в. X ме­тодом максимального правдоподобия.