При построении модели, адекватно описывающей изучаемый процесс в экономике, очень важную роль играет анализ правильности ее спецификации. Отрицательно на объясняющих свойствах модели сказывается как отсутствие значимой переменной, так и избыточное присутствие незначимой объясняющей переменной.
В случае, когда в модель не включена существенная переменная (существенной называют переменную, которая должна быть в модели согласно правильной теории), наблюдаются следующие последствия:
1. Исчезает возможность правильной оценки и интерпретации уравнений.
2. Коэффициенты при оставшихся переменных становятся смещенными.
3. Стандартные ошибки коэффициентов и t - статистики некорректны и не могут быть использованы для суждения о качестве подгонки предлагаемой модели.
Например, предположим, что из модели 
исключена переменная Х2. Тогда в новой спецификации фактически рассматривается модель 
, где 
.
Если объясняющие переменные Х1 и Х2 коррелированы, то нарушается предпосылка теоремы Гаусса-Маркова о некоррелированности случайного члена и регрессоров, поскольку в этом случае между Х1 и u существует ненулевая корреляция. Оценки, полученные по методу наименьших квадратов для данной модели, уже не являются эффективными среди линейных оценок.
Оценки даже не являются несмещенными, поскольку для МНК оценки коэффициента b1 в этом случае получаем: 
.
Наблюдается смещение равное 
.
Включение несущественной переменной в модель не приводит к смещению оценок коэффициентов, но появляется другой недостаток — растут стандартные ошибки коэффициентов. Оценки становятся статистически незначимыми.
Если точная спецификация модели неизвестна (что практически всегда и бывает), то пользуются критериями, позволяющими выбирать из некоторого множества моделей наилучшую модель.
|
|
Наиболее распространенными критериями является критерий Шварца (Schwarz) и критерий Акайке (Akaike). Оба критерия позволяют выбирать наилучшую модель из множества различных спецификаций. Критерии численно построены так, чтобы учесть влияние на качество подгонки модели двух противоположных тенденций.
При добавлении переменных в модель качество подгонки в общем случае увеличивается. Заметим, что число регрессоров должно быть разумным, чтобы не вызвать «искусственной подгонки» зависимой переменной. С другой стороны, недостаточное включение переменных в модель дает большую стандартную ошибку, и качество подгонки снижается.
Формулы для расчета критериев Akaike и Schwarz:
Акаике информационный критерий 
,
Критерий Шварца 
, где 
— выборочная дисперсия остатков, К — число ограничений на степени свободы. Значение К в этом случае равно числу независимых переменных, включая свободный член. Таким образом, если в модели присутствует два регрессора и свободный член, то число ограничений на степени свободы будет равно трем.
Первое слагаемое представляет собой штраф за большую дисперсию, второе — штраф за использование дополнительных переменных. Критерии рассчитываются для каждой рассматриваемой спецификации. При сравнении двух типов моделей предпочтение отдается спецификации, которая имеет наименьшие значения критериев.
Приведем пример использования информационных критериев при выборе наилучшей спецификации модели.
|
|
В качестве исходных данных взят временной ряд длиной 20 наблюдений. Будем подгонять этот ряд линейными регрессиями, в которых регрессоры будут являться полиномами различных степеней — Х, Х 2... Х 7. Наша задача — выбрать оптимальную степень наибольшего полинома. Будем сравнивать модели с различными степенями полиномов по критериям Akaike и Schwartz. Модель, показывающую наименьшие значения критериев, будем считать оптимальной.
Результаты для регрессии Y = a0 + a1X + e:
Таблица 3.16
Значения критериев и коэффициенты полинома
Рис. 3.2. График наблюдаемых
и предсказанных значений для n = 1
Результаты для регрессии Y = a0 + a1X + а2Х2 + e:
Таблица 3.17
Значения критериев и коэффициенты полинома
Рис. 3.3. График наблюдаемых
и предсказанных значений для n = 2
Результаты для регрессии Y = a0 + a1X + а2Х2 + а3Х3 + e:
Таблица 3.18
Значения критериев и коэффициенты полинома
Рис. 3.4. График наблюдаемых
и предсказанных значений для n = 3
Результаты для регрессии
Y = a0 + a1X + а2Х2 + а3Х3 + а4Х4 + e:
Таблица 3.19
Значения критериев и коэффициенты полинома
Рис 3.5. График наблюдаемых
и предсказанных значений для n = 4
Результаты для регрессии
Y = a0 + a1X + а2Х2 + а3Х3 + а4Х4 + а5Х5 + e:
Таблица 3.20
Значения критериев и коэффициенты полинома
Рис. 3.6. График наблюдаемых
и предсказанных значений для n = 5
Результаты для регрессии
Y = a0 + a1X + а2Х2 + а3Х3 + а4Х4 + а5Х5 + а6Х6 + e:
Таблица 3.21
Значения критериев и коэффициенты полинома
|
|
Рис. 3.7. График наблюдаемых
и предсказанных значений для n = 6
Результаты для регрессии
Y = a0 + a1X + а2Х2 + а3Х3 + а4Х4 + а5Х5 + а6Х6 + а7Х7 + e:
Таблица 3.22
Значения критериев и коэффициенты полинома
Рис. 3.8. График наблюдаемых
и предсказанных значений для n = 7
Результаты для регрессии
Y = a0 + a1X + а2Х2 + а3Х3 + а4Х4 + а5Х5 + а6Х6 + а7Х7 + а8Х8 + e:
Таблица 3.23
Значения критериев и коэффициенты полинома
Рис.3.9. График наблюдаемых и предсказанных значений для n = 8
Рис. 3.10. Сравнительный график предсказаний
для моделей со степенями полиномов n = 7 и n = 8
Результаты показывают, что минимум значений критериев Akaike и Schwartz наблюдается при самой высокой степени полинома, равной семи. Следовательно, делаем вывод о том, что при подгонке исследуемого ряда целесообразно использовать спецификацию с наивысшей степенью полинома, равной семи.
Дополнительным доводом в пользу такого выбора спецификации может служить значение скорректированного R2, которое является наибольшим из всех рассматриваемых.
Графический анализ качества подгонки полиномами неизвестной функции дает следующий результат: при повышении степени полинома с n = 1 до n = 7 улучшение объясняющих свойств модели можно наблюдать визуально. На изображенных графиках предсказанные значения приближаются к реальным данным с увеличением степени полинома. При использовании полинома восьмой степени качество подгонки практически не улучшается. На приведенном сравнительном графике предсказаний для моделей со степенями полинома n = 7 и n = 8 графики предсказанных значений сливаются, следовательно, использование полинома восьмой степени избыточно и практически не улучшает прогнозных свойств модели. Этот вывод и подтверждается ростом значения критерия Akaike.
3.15. Контрольные вопросы к главе 3 «Множественная регрессия»
1. Напишите линейную модель регрессии с k -факторами.
2. Какая матрица называется ковариационной матрицей случайного вектора Х, а какая — корреляционной? В чем их отличие?
3. Какое условие является условием однородности (гомоскедастичности наблюдений)?
4. Как получают систему нормальных уравнений в методе МНК? С какой целью составляется и решается система нормальных уравнений МНК?
5. Приведите формулу расчета коэффициентов регрессионного уравнения в методе наименьших квадратов.
6. Докажите несмещенность МНК-оценок коэффициентов модели.
7. Выведите формулу расчета дисперсий и средних квадратических ошибок МНК-коэффициентов модели. Какая матрица называется матрицей дисперсий-ковариаций векторов-столбцов матрицы наблюдений?
8. Как оценивается качество уравнения регрессии с помощью абсолютной и относительной ошибки аппроксимации?
9. Дайте определение коэффициента детерминации.
10. Как проводится дисперсионный анализ качества модели в случае многих факторов?
11. Как проверяется значимость коэффициентов регрессии?
12. Приведите формулы для расчета доверительного интервала функции регрессии и для индивидуальных значений зависимой переменной.
13. Почему коэффициент детерминации во многих случаях не может помочь при определении числа включаемых в модель переменных?
14. Дайте определение частного коэффициента корреляции и выясните его роль в процедуре шаговой регрессии последовательного включения (исключения) переменных.
15. В чем состоит проблема мультиколлинеарности факторов?
16. Опишите способы устранения мультиколлинеарности, в частности, процедуру гребневой регрессии (ридж-регрессии).
17. Расскажите о методе главных компонент, эффективной процедуре борьбы с мультиколлинеарностью.
18. Какие переменные называются фиктивными, манекенными (dummy)? Чем вызвана необходимость использования фиктивных переменных?
19. Расскажите о тесте Г. Чоу проверки структурной однородности модели.
20. Как осуществляется выбор моделей оптимальной сложности на основе критериев Акаике и Шварца?