Рассмотрим наиболее распространенные методы получения точечных оценок параметров распределения: метод моментов и метод максимального правдоподобия (кратко: ММП).
Метод моментов
Метод моментов для нахождения точечных оценок неизвестных параметров заданного распределения состоит в приравнивании теоретических моментов распределения соответствующим эмпирическим моментам, найденных по выборке.
Так, если распределение зависит от одного параметра в (например, задан вид плотности распределения /(ж,0)), то для нахождения его оценки надо решить относительно в одно уравнение:
MX — Хв
оо
(MX = J х • f(x,e) dx = <р(в) есть функция от в).
—оо
Если распределение зависит от двух параметров (например, вид плотности распределения /(ж,01,02)) — надо решить относительно в\ и #2 систему уравнений:
MX ~ X DX — DB
надо |
И, наконец, если надо оценить п параметров 9\, 02, • • • > решить одну из систем вида:
MX = X, DX = DB, |
г—1 п |
MX* = I Е XI |
ИЛИ |
г=\ |
М(Х-МХ)к = ±52(Хг-Хв)к.
MXk = ±f:X?; |
г—1
г=Х
Метод моментов является наиболее простым методом оценки параметров. Он был предложен в 1894 г. Пирсоном. Оценки метода моментов обычно состоятельны, однако их эффективность часто значительно меньше единицы.
Пример 7.2. Найти оценки параметров нормального распределения с. в. X методом моментов.
0 Требуется по выборке х\, х2, ■. -, хп найти точечные оценки неизвестных параметров а — MX = 0i и а2 = DX = 02.
По методу моментов приравниваем их, соответственно, к выборочному среднему и выборочной дисперсии (qi = MX — начальный момент I порядка, [i2 = DX — центральный момент II порядка). Получаем
(мХ=хв, [DX = DBt
т. е.
{ |
а = хВ)
а2 - DB.
Итак, искомые оценки параметров нормального распределения:
1 — Хв И 02 = VDb> •
Метод максимального правдоподобия
а |
Пусть rci, Х2У • •.,хп — выборка, полученная в результате проведения п независимых наблюдений за с. в. X. И пусть вид закона распределения величины X, например, вид плотности f(x, 0), известен, но
неизвестен параметр 0, которым определяется этот закон. Требуется по выборке оценить параметр 9.
В основе метода максимального правдоподобия (ММП), предложенного Р. Фишером, лежит понятие функции правдоподобия.
Функцией правдоподобия, построенной по выборке х2,..., хп, называется функция аргумента 9 вида
L(xux2,...,xn;0) = f(xu9) ■ /(х2,в) •... • f{xn,9)
или
п
L(x,0) = J[f(xi,0), i=i
где — плотность распределения с. в. X в случае, если X — не
прерывная. Если X — дискретная с. в., то функция правдоподобия имеет вид
п
L(x,9) =р{хи0) -р(х2,в) •...-р{хп,9) =
»=i
где p(xt7 9) ~ р{Х = хи 9}.
Из определения следует, что чем больше значение функции L(x,8), тем более вероятно (правдоподобнее) появление (при фиксированном в) в результате наблюдений чисел xi,x2->...,хп.
За точечную оценку параметра 9, согласно ММП, берут такое его значение 0, при котором функция правдоподобия достигает максимума.
Эта оценка, называемая оценкой максимального правдоподобия, является решением уравнения
dL(x,9) d9
Так как функции L(x,9) и In L(x, 9) достигают максимума при одном и том же значении 9, то вместо отыскания максимума функции L(x, в) ищут (что проще) максимум функции InL(x,0).
Таким образом, для нахождения оценки максимального правдоподобия надо:
1. решить уравнение правдоподобия
d(\nL(x,e))
О |
do 1
2. |
отобрать то решение, которое обращает функцию в) в мак
<0, |
симум (удобно использовать вторую производную: если
d2 1 пЬ{х,в)
dO
то 0 — в — точка максимума).
Если оценке подлежат несколько параметров 0ь 02- - ■ распределения, то оценки 0i,...,0П определяются решением системы уравнений правдоподобия:
(д{\п L)
0,
двг
= 0. |
djlnL) двп
[яГЧ Пример 7.3. Найти оценку параметра а распределения Пуассона методом максимального правдоподобия.
СJ В данном случае р{Х = т} =-------- j—. Поэтому
ТГЬ*
P{xii 0) — р{Х = Xi, 0} = ^-"TJ—
Xi.
при Xi £ N. Составляем функцию правдоподобия (для дискретной с. в. X):
= 1------------------------
xi! х2! хп\ xi\'...'xnl
Тогда
1п£(ж,0) = — п • в + ^ Xi • 1п0 — ln(#i! • Х21- -.. • • хп1) t=i
и
d\nL(x, 0) 1 ^
(п г=1 |
"п+ й
dQ 0
г-1
Уравнение правдоподобия имеет вид:
= 0.
xi
в=в
Отсюда находим
~~ 1 П
О = п Хг = Хв'
г=\
А так как
<PhiL{x,6)
\ в=9 ег А
г=1
то оценка 9 — хв является оценкой максимального правдоподобия. Итак, в = а — хв. •
Метод наименьших квадратов
Метод нахождения оценки 9 неизвестного параметра 9, основанный на минимизации суммы квадратов отклонений выборочных данных от определяемой (искомой) оценки 0, называется методом наименьших квадратов (коротко: МНК).
Другими словами, в МНК требуется найти такое значение 9, которое минимизировало бы сумму
п
F(9) = ^ min<
t=i
Отметим, что МНК является наиболее простым методом нахождения оценок параметра 9.
Пример 7.4. Найти оценку параметра а распределения Пуассона методом наименьших квадратов.
п
Q Найдем точку минимума функции F(0) = — 9)2:
i—i
^ <=1 ' ».=1
П
из уравнения F'(9) = 0 находим критическую точку: —2 ^^(Х^ — 9) = 0,
п п п п
т. е. ^ - ^ 0 = 0, т. е. — ^кр — А так как
г—1 1=1 i=l г=\
Ff,(9Kp)=(-2f2(Xt-9)\ = -2£(-1) = 2п>0
п
при любом значении в, то 0кр = ~ ^ Xi — точка минимума функ-
г=1
ции F(0). Таким образом, оценкой параметра а в распределении Пуас-
пт • р~а
сона Р(т\а) = ———, т — 0,1,2,... согласно МНК, является 4 т\
п t=1
Можно доказать, что:
М(в)=в = а, D{$) - •
Упражнения
1. Найти оценку параметра распределения Пуассона методом моментов.
2. Пользуясь ММП, оценить вероятность появления герба, если при 10 бросаниях монеты герб появился 6 раз.
3. Найти оценку неизвестной вероятности успеха в схеме Бернулли методом моментов и ММП.
4. Дано: с. в. X ~ R[a, £>]. По выборке rci, х2, • • •, хп оценить величины а и 6 методом моментов.
5. Найти оценки параметров нормального распределения с. в. X методом максимального правдоподобия.