Байесовские решения. Отношение правдоподобия.

Отношение правдоподобия

 

 

Функция правдоподобия

 

Исходной информацией для принятия решения являются выборочные значения(выборка) х_N = х₁, х₂, …, х_N, которые получаются в результате наблюдения случайной величины (или явления) x. Число N называется размером или объемом выборки х _N.

Функцией правдоподобия выборки называется условное совместное распределение выборочных значений, задаваемое выражениями

 

f _n (х₁, х₂, …, х_N / s) =

 

Р{ х = х₁, х = х₂, …, х = х_N / s } = р (х _i / s)

 

если выборочные значения х₁, х₂, …, х_N являются независимыми величинами. Здесь величина s определяет состояние изучаемого явления.

Будем полагать в дальнейшем, что:

1) в процессе извлечения выборки х₁, х₂, …, х_N состояние s изучаемого явления не меняется;

2) объем выборки N остается фиксированным.

 

 

Байесовские решения. Отношение правдоподобия.

 

 

Будем рассматривать задачу проверки простой гипотезы против простой альтернативы. По прежнему объектом для решения задачи является выборка х_N = х₁, х₂, …, х_N, полученная в результате наблюдения какого- либо явления (или случайной величины). Известно, что выборочные значения х₁, х₂, …, х_N принадлежат одному из двух распределений

f _N (х₁, х₂, …, х _N / s₀) = f _N (х_N / s₀)

или f _N (х₁, х₂, …, х _N / s₁) = f _N (х_N / s₁),

связанных с взаимоисключающими состояниями s₀ и s₁ изучаемого явления. Задача состоит в том, чтобы указать наилучший(в каком-то смысле) алгоритм обработки опытных данных с целью решить, какому из указанных распределений принадлежит полученная выборка.

Обозначим гипотезы Н ₀ и Н ₁ о том, что выборочные значения принадлежат распределениям f _N (х_N / s₀) и f _N (х_N / s₁) соответственно:

Н ₀ : f _N (х_N / s) = f _N (х_N / s₀);

Н ₁: f _N (х_N / s) = f _N (х_N / s₁).

Гипотеза Н ₁ является простой альтернативой для гипотезы Н ₀. Поэтому можно рассматривать только одну гипотезу Н ₀ , так как отклонение гипотезы Н ₀ означает принятие гипотезы Н ₁. Обозначим через g ₀ и g ₁ принятые решения:

- если статистика Z попадает в допустимую область Z ₀ = V \ V _k, то принимается решение g ₀ (z _в Í V \ V _k ® g ₀);

- если статистика Z попадает в критическую область Z ₁ = V _k, то принимается решение g ₁ (z _в Í V _k ® g ₁).

 

При использовании любого заранее установленного правила выбора решения(критерия) наряду с правильными решениями неизбежны и ошибочные решения: ошибки 1 –го и 2 –го рода.

Тогда при каждом испытании возможны следующие ситуации:

1) верна гипотеза Н ₀ (т.е. Z Í V \ V _k) и выбираем гипотезу Н ₀, то принимается правильное решение g _{0 0};

2) верна гипотеза Н ₁ и выбираем гипотезу Н ₀ (Z Í V _k), то принимается ошибочное решение g _{0 1};

3) верна гипотеза Н ₁ и выбираем гипотезу Н ₁ , то принимается правильное решение g _{1 1};

4) верна гипотеза Н ₀ и выбираем гипотезу Н ₁ , то принимается ошибочное решение g _{1 0};

Вероятности каждого принятого решения будут равны соответственно:

Р [ g_{0 0} ] = Р [g ₀ / Н ₀ ] = 1 - a

Р [ g_{0 1} ] = Р [g ₀ / Н ₁ ] = b

Р [ g_{1 1} ] = Р [g ₁ / Н ₁ ] = 1 - b

Р [ g_{1 0} ] = Р [g ₁/ Н ₀ ] = a,

 

Где a вероятность ошибки 1 –го рода есть уровень значимости, а

(1 - b) – вероятность отвергнуть гипотезу(ложную) Н ₀ называется мощностью правила выбора решения.

Для заданного объема выборки невозможно одновременно сделать сколь угодно малыми вероятности ошибок 1 –го и 2 –го рода.

Ошибочные решения g _{0 1} и g _{1 0} могут иметь последствия. Для количественной оценки последствий принятых решений вводят функцию потерь или функцию стоимости, которая приписывает каждому из возможных принятых решений g _{i j} соответствующую плату П _{i j}, где i = { 0; 1} и j = { 0; 1}. Величины потерь П _{i j} удобно представлять в виде матрицы, которую называют матрицей потерь П

П = , где П ₀₁ > П _{0 0} и П ₁₀ > П ₁₁.

 

По главной диагонали расположены платы за правильные решения, а по другой диагонали – платы за ошибочные решения.

Обозначим априорные вероятности состояний s₀ и s₁ через

р = Р (s₁ ) и q = Р (s₀ ), причем р + q = 1.

Среднее значение потерь называется средним риском и он равен

R = р × r ₁ + q × r ₀,

 

где r _i = П _{i j} × Р [ g _j / s _i ] - условная функция риска, а

r ₀ = П _{0 0} × Р [ g _{0 0}] + П _{0 1} × Р [ g _{1 0}] = (1 - a) × П _{0 0} + a × П _{0 1}; r ₁ = П _{1 0} × Р [ g _{0 1}] + П _{1 1} × Р [ g _{1 1}] = b × П _{1 0} + (1 - b) × П _{1 1}

условные риски, соответствующие состояниям s₀ и s₁.

Основной целью является уменьшение средних потерь R. Это достигается при выполнении условия

f _N (х_N / s₁) q × (П _{0 1} - П _{0 0})

^{_____________________} ³ ^{______________________}. (1)

f _N (х_N / s₀) р × (П ₁₀ - П ₁₁)

 

Формула (1) задает правило принятия решения, основанное на критерии минимального среднего риска, которое называется байесовским решением. Его можно сформулировать следующим образом:

- принимается решение g ₁ (отвергнуть гипотезу Н ₀ ), если выполняется условие (1); и

- принимается решение g ₀ (принять гипотезу Н ₀ ), если выполняется условие

f _N (х_N / s₁) q × (П _{0 1} - П _{0 0})

^{_____________________} < ^{______________________}. (2)

f _N (х_N / s₀) р × (П ₁₀ - П ₁₁)

 

Левая часть в выражениях (1) и (2)

f _N (х_N / s₁)

L (х₁, х₂, …, х_N) = L (х_N) = ^{_____________________} (3)

f _N (х_N / s₀)

 

называется отношением правдоподобия.

Обозначим правую часть в (2) как

 

q × (П _{0 1} - П _{0 0}) q

^{______________________} = ^_____ × с ₀ = m × с ₀ = с. (4)

р × (П ₁₀ - П ₁₁) р

 

и определим ее как порог при байесовском решении.

Сформулируем окончательно байесовское правило принятия решения:

Если имеет место неравенство L (х_N) ³ с, то принимается решение g ₁ о истинности гипотезы Н ₁ ;

Если имеет место неравенство противоположного знака L (х_N) < с, принимается решение g ₀ о истинности гипотезы Н ₀ (или отклонении гипотезы Н ₁ ).

Байесовское правило принятия решения минимизирует средний риск и поэтому его называют критерием минимального риска.

Если потери примут значения П _{0 0} = П _{1 1} = 0 и П _{0 1} = П _{1 0} = 1, то байесовское решение минимизирует полную вероятность ошибки

R = q a + р b = Р _ош. (5)