На практике часто удается предсказать или оценить с помощью гистограммы вид распределения наблюдаемой случайной величины ξ с точностью до неизвестного параметра (или нескольких параметров). Одной из основных задач математической статистики является нахождение оценки (приближенного значения) неизвестного параметра по имеющейся выборке.
Основные понятия
Пусть наблюдается случайная величина ξ с функцией распределения и плотностью распределения . Случайная выборка представлена вектором с реализацией . (3.7)
Параметром распределения случайной величины называется любая числовая характеристика этой случайной величины (математическое ожидание, дисперсия и т.п.) или любая константа, явно входящая в выражение для функции или плотности распределения.
Если параметр неизвестен, то его точечной оценкой называется произвольная функция элементов выборки
. (3.8) Реализацию оценки, т.е. значение оценки для наблюдавшейся в эксперименте реализации выборки, принимают за приближенное значение неизвестного параметра
Из соотношения (3.8) видно, что как функция случайных величин сама также является случайной величиной. Закон распределения оценки зависит от вида функции , числа наблюдений и значения оцениваемого параметра.
Ясно, что существует много разных способов построения точечной оценки, и не всякая зависимость может давать удовлетворительную оценку неизвестного параметра . Рассмотрим некоторые свойства, которыми должна обладать оценка, чтобы ее можно было считать хорошим приближением к неизвестному параметру.
Оценка параметра называется несмещенной, если ее математическое ожидание равно оцениваемому параметру, то есть
. (3.9)
Если свойство (2.2) не выполняется, то есть
, (3.10)
то оценку называют смещенной, при этом величину называют систематической ошибкой оценки .
Требование несмещенности означает, что выборочные значения оценок, полученных в результате повторения выборок, группируются около оцениваемого параметра.
Оценка параметра называется состоятельной, если при она сходится по вероятности к оцениваемому параметру , т.е. для любого ε > 0 выполняется равенство
. (3.11)
Следующая теорема устанавливает достаточные условия состоятельности оценки параметра .
Теорема. Если при и , то оценка параметра является состоятельной.
Состоятельность оценки означает, что, при достаточно большом объеме выборки с вероятностью близкой к единице, отклонение оценки от истинного значения параметра меньше ранее заданной величины.
Обычно в качестве меры точности оценки используется среднеквадратическая ошибка (среднее значение квадрата ошибки) . Очевидно, чем меньше эта ошибка, тем теснее сгруппированы значения оценки около оцениваемого параметра. Поэтому всегда желательно, чтобы ошибка оценки была по возможности малой. Используя свойства математического ожидания, нетрудно получить
. (3.12)
Для несмещенных оценок
, (3.13)
то есть их мерой точности является дисперсия.
Несмещенная оценка параметра называется его эффективной оценкой, если ее дисперсия является наименьшей среди дисперсий всех возможных оценок параметра , вычисленных по одному и тому же объему выборки.