Обобщённый метод наименьших квадратов — метод оценки параметров регрессионных моделей, являющийся обобщением классического метода наименьших квадратов. Обобщённый метод наименьших квадратов сводится к минимизации «обобщённой суммы квадратов» остатков регрессии — 
, где 
— вектор остатков, 
— симметрическая положительно определенная весовая матрица. Обычный МНК является частным случаем обобщённого, когда весовая матрица пропорциональна единичной.
Необходимо отметить, что обычно обобщённым методом наименьших квадратов называют частный случай, когда в качестве весовой матрицы используется матрица, обратная ковариационной матрице случайных ошибок модели.
Известно, что симметрическую положительно определенную матрицу можно разложить как 
, где P- некоторая невырожденная квадратная матрица. Тогда обобщённая сумма квадратов может быть представлена как сумма квадратов преобразованных (с помощью P) остатков 
. Для линейной регрессии 
это означает, что минимизируется величина: 
где 
, то есть фактически суть обобщённого МНК сводится к линейному преобразованию данных и применению к этим данным обычного МНК. Если в качестве весовой матрицы используется обратная ковариационная матрица 
случайных ошибок 
(то есть 
), преобразование P приводит к тому, что преобразованная модель удовлетворяет классическим предположениям (Гаусса-Маркова), следовательно оценки параметров с помощью обычного МНК будут наиболее эффективными в классе линейных несмещенных оценок. А поскольку параметры исходной и преобразованной модели одинаковы, то отсюда следует утверждение — оценки ОМНК являются наиболее эффективными в классе линейных несмещенных оценок (теорема Айткена). Формула обобщённого МНК имеет вид:
|
|
Ковариационная матрица этих оценок равна:
Проблема применения обобщённого МНК заключается в неизвестности ковариационной матрицы случайных ошибок. Поэтому на практике используют доступный вариант ОМНК, когда вместо V используется её некоторая оценка. Однако, и в этом случае возникает проблема: количество независимых элементов коварационной матрицы равно 
, где 
-количество наблюдений (для примера — при 100 наблюдениях нужно оценить 5050 параметров!). Следовательно, такой вариант не позволит получить качественные оценки параметров. На практике делаются дополнительные предположения о структуре ковариационной матрицы, то есть предполагается, что элементы ковариационной матрицы зависят от небольшого числа неизвестных параметров 
. Их количество должно быть намного меньше числа наблюдений. Сначала применяется обычный МНК, получают остатки, затем на их основе оцениваются указанные параметры . С помощью полученных оценок оценивают ковариационную матрицу ошибок и применяют обобщённый МНК с этой матрицей. В этом суть доступного ОМНК. Доказано, что при некоторых достаточно общих условиях, если оценки состоятельны, то и оценки доступного ОМНК будут состоятельны.
Если ковариационная матрица ошибок диагональная (имеется гетероскедастичность ошибок, но нет автокорреляции), то обобщённая сумма квадратов является фактически взвешенной суммой квадратов, где веса обратно пропорциональны дисперсиям ошибок. В этом случае говорят о взвешенном МНК (ВМНК, WLS, Weighted LS). Преобразование P в данном случае заключается в делении данных на СКО случайных ошибок. К взвешенным таким образом данным применяется обычный МНК.
|
|
Как и в общем случае, дисперсии ошибок неизвестны и их необходимо оценить из тех же данных. Поэтому делают некоторые упрощающие предположения о структуре гетероскедастичности.
Дисперсия ошибки пропорциональна некоторой переменной. В этом случае собственно диагональными элементами являются величины, пропорциональные этой переменной (обозначим её Z). Причем коэффициент пропорциональности не нужен для оценки. Поэтому фактически процедура в данном случае следующая: разделить все переменные на Z (включая константу, то есть появится новая переменная 1/Z). Причем Z может быть одной из переменных самой исходной модели (в этом случае в преобразованной будет константа). К преобразованным данным применяется обычный МНК для получения оценок параметров: