Автокорреляционные функции.

Автоковариации и автокорреляции (см. (10.12) и (10.13)) весьма полезны при построении АРСС(p, q)-моделей (Box, George and Gwilym Jenkins [22]).

Проиллюстрируем метод автокорреляционных функций на четырех важных примерах встречающихся примерно в 80% приложений: моделях АР(1), АР(2), СС(1), АРСС(1, 1).

Для АР(1) - модели

y_t = a₀ + a₁ y_t-1 +e_t

формулы (10.13), (10.19) дают

g_t = s²/[1-(a₁)²],

g_s = s²(a₁)^s/[1-(a₁)²].

Из (10.13) получаем, что r₀ = 1; r₁ = а₁; r₂ = (а₁)²,..., r_s = (а₁)^s.

Построим график, на оси абсцисс отложим значение s, а на оси ординат r_s. Напомним, что такой график называется коррелограммой. В нашем случае автокорреляционные функции (АКФ) r_s сходятся к нулю со скоростью геометрической прогрессии (ïа₁ï<1 по условию). Если а₁ > 0, то сходимость монотонно убывающая. При а₁ < 0 наблюдаются колебания, амплитуда которых затухает со скоростью геометрической прогрессии.

Теперь рассмотрим более сложный АР(2) процесс

y_t = a₁ y_t-1 + a₂ y_t-2 +e_t. (10.27)

Мы опустили свободный член, так как он не оказывает влияния на величину АКФ. Напомним, что по условиям стационарности корни характеристического многочлена (1 - a₁L - a₂L²) лежат вне единичного круга. Выведем расчетные формулы для автокорреляций, используя уравнения Юла - Уокера (Yule - Walker).

Умножим уравнение (10.27) на y_t-s, s=0; s=1; s=2 и так далее. После вычисления математического ожидания в левой и правой части равенств получаем систему уравнений

My_ty_t = a₁My_t-1y_{t +} a₂My_t-2y_t + M e_ty_t,

My_ty_t-1 = a₁My_t-1y_{t-1 +} a₂My_t-2y_t-1 + M e_ty_t-1,

My_ty_t-2 = a₁My_t-1y_{t-2 +} a₂My_t-2y_t-2 + M e_ty_t-2, (10.28)

...................................................................

My_ty_t-s = a₁My_t-1y_{t-s +} a₂My_t-2y_t-s + M e_ty_t-s.

Согласно определению стационарности

My_ty_t-s = My_t-sy_t = My_t-ky_t-k-s = g_s.

Далее ясно, что

M e_ty_t = s²,

M e_ty_t-s = 0.

Поэтому (10.28) преобразуется к виду:

g₀ = a₁g₁ + a₂g₂ + s², (10.29)

g₁ = a₁g₀ + a₂g₁, (10.30)

................................

g_s = a₁g_s-1 + a₂g_s-2. (10.31)

Поделив (10.30) и (10.31) на γ₀, получаем

r₁ = a₁r₀ + a₂r₁, (10.32)

..........................

r_s = a₁r_s-1 + a₂r_s-2. (10.33)

Так как r₀ = 1, то из (10.32) следует, что r₁ = a₁/(1-a₂). Зная r₀ и r₁, далее последовательно находим остальные АКФ. Например, для s = 2 и s = 3, имеем

r₂ = (a₁)²/(1-a₂) + a_2,

r₃ = a₁[(a₁)²/(1-a₂) + a₂] + a₂a₁/(1-a₂).

Как и в предыдущем случае, последовательность АКФ {r_s} должна быть сходящейся. Что условия стационарности y_t требуют, чтобы корни характеристического уравнения для разностного уравнения (10.33) лежали внутри единичного круга.

 

АКФ для СС(1)-процесса. Рассмотрим СС(1)-процесс вида y_t = e_t + be_t-1. Умножая y_t на y_t-s и вычисляя математическое ожидание, получаем уравнения Юла-Уокера

g₀ = D(y_t) = My_ty_t = M[(e_t + be_t-1) (e_t + be_t-1)] = (1+b²)s²

g₁ = My_ty_t-1 = M[(e_t + be_t-1) (e_t-1 + be_t-2)] = bs²

и

g_s = My_ty_t-s = M[(e_t + be_t-1) (e_t-s + be_t-s-2)] = 0 для s>1.

В качестве примера покажите, что АКФ для СС(2)-процесса y_t = e_t + b₁e_t-1 + b₂e_t-2 имеет два ненулевых значения r₁ и r₁, а остальные r_s = 0, для s>2.

АКФ для АРСС(1, 1)-процесса. Итак, пусть

y_t = a₁ y_t-1 + e_t + b₁e_t-1.

Используя прием Юла-Уокера, получаем

My_ty_t = a₁My_t-1y_t + M e_ty_t + b₁M e_t-1y_t Þ g₀ = a₁g₁ +s² + b₁(a₁ + b₁)s², (10.34)

My_ty_t-1 = a₁My_t-1y_t-1 + M e_ty_t-1 + b₁M e_t-1y_t-1Þg₁ = a₁g₀ + b₁s², (10.35)

My_ty_t-2 = a₁My_t-1y_t-2 + M e_ty_t-2 + b₁M e_t-1y_t-2 Þ g₂ = a₁g₁ (10.36)

.........................................

My_ty_t-s = a₁My_t-1y_t-s + M e_ty_t-s + b₁M e_t-1y_t-s Þ g_s = a₁g_s-1. (10.37)

Из (10.34) и (10.35) имеем

= .

 

Следовательно

(10.38)

и далее r_s = a₁r_s-1 для s³2.

Итак, в АРСС(1, 1)-модели величина r₁ зависит от а₁ и b₁. Далее r_s АРСС(1, 1) выглядит также как для АР(1), то есть в виде последовательности членов геометрической прогрессии со знаменателем а₁. В зависимости от знака а₁ эта последовательность либо постоянно убывает, либо осцилирует, затухая.

Задача. В качестве упражнения постройте коррелограмму для АРСС(2, 1)-модели. Для общих АРСС(p, q)-моделей, начиная с запаздывания q, значения r_i будут удовлетворять уравнению

r_i = a₁r_i-1 + a₂r_i-2 +... + a_pr_i-p, i>q.

При этом первые р-1 значение r_i трактуются как начальные условия, получаемые из уравнений Юла-Уокера.

 

Частные автокорреляционные функции (ЧАКФ). В АР(1)-модели y_t и y_t-2 коррелируют, хотя y_t-2 явно не входит в уравнение модели (r₂ = r₁²). Такая косвенная корреляция присуща АКФ любой авторегрессионной модели. Напротив, частные автокорреляции между y_t и y_t-s исключают эффекты других запаздываний. Поэтому, для АР(1)-модели ЧАКФ между y_t и y_t-2 равны нулю.

Большинство статистических пакетов программ имеют возможности для вычисления ЧАКФ. Некоторые из них основаны на методе, связанном с уравнениями Юла-Уокера:

Ф₁₁ = r₁, (10.39)

Ф₂₂ = (r₂ - r₁²)/(1 - r₁²), (10.40)

и далее

Ф_ss = ; j = 1, 2, 3,..., (10.41)

где

Ф_sj = Ф_s-1,j - Ф_ssФ_s-1,s-j, j = 1, 2, 3,..., s-1. (10.42)

Используя правило Крамера, из Юла-Уокера уравнений можно для АR(k)-процесса получить другую формулу для Ф_kk:

Ф_kk = . (10.43)

Для s>k, прямой корреляции между y_t и y_t-s для АР(k) процесса нет. Следовательно, Ф_ss = 0 при s>k.

Рассмотрим теперь СС(1)-модель y_t = e_t + be_t-1. Если b ¹ -1, то e_t=y_t/(1+bL). Следовательно, разлагая правую часть равенства в ряд, имеем

y_t - by_t-1 + b²y_t-2 - b³y_t-3 +... = e_t.

Поэтому ЧАКФ для СС(1) не обращаются в ноль, начиная с некоторого номера s, а убывают со скоростью геометрической прогрессии. Если b<0, то убывание монотонное, а при b>0 коэффициенты осцилируют. В более общем случае ЧАКФ стационарных АРСС(p, q)-процессов, начиная с лага p, убывают к нулю. Вид убывания зависит от коэффициентов многочлена

(1 + b₁L + b₂L² +... + b_qL^q).

 

10.6.Построение АРСС-моделей. Первым шагом в подборе АРСС-модели наблюдаемого временного ряда является оценивание среднего - m, дисперсии - (s_y)² и автокорреляций r_k. В предположении стационарности и эргодичности (возможности получения оценок по одной реализации процесса) применимы следующие оценки:

, (10.44)

, (10.45)

и

, s = 1, 2,..., Т/4. (10.46)

Выборочные АКФ из (10.46) и ЧАКФ, полученные по формулам (10.39)-(10.43) сравнивают с различными теоретическими функциями в попытке идентифицировать процесс, породивший данную выборочную реализацию.

Бокс и Дженкинс (1976) получили формулу для расчета дисперсии выборочной АКФ r_s в предположении, что y_t - стационарны с нормально распределенными ошибками. Тогда

D(r_s) = T^-1 для s = 1, (10.47)

D(r_s) = (1 + 2 )T^-1 для s>1 (10.48)

при настоящем значении r_s = 0. Более того, в большой выборке (Т - велико) r_s - нормально распределено с нулевым средним. Для ЧАКФ коэффициентов АР(р)-модели доказано, что D(Ф_p+i,p+i) » Т^-1.

На практике полученные выборочные значения АКФ и ЧАКФ тестируются на значимость, используя (10.47) и (10.48). Например, для 95% доверительного интервала (двух стандартных отклонений) если r₁ превышает 2Т , то следует отвергнуть нулевую гипотезу о том, что АКФ первого порядка статистически незначимо отличается от нуля. Это означает, что q>0, где q-показатель числа запаздываний в модели SS(q). Затем, пусть s =2; D(r_s) = (1 + 2r₁²)/T.

Если, например, r₁ = 0,5 и Т = 100, то D(r₂) = 0,015 и s(r₂) » 0,123. Тогда, если вычисленное по выборке значение r₂ превышает 2·(0,123) (два стандартных отклонения), то при принятых ограничениях с 95% вероятностью можно утверждать, что гипотезу r₂ = 0 надо отвергнуть. Следовательно, q>1. Повторяя процесс проверки гипотез для различных s можно пытаться идентифицировать порядок процесса.

Однако, если просматривать большое число АКФ, то можно обнаружить, что некоторые АКФ превышают 2s(r_s), хотя настоящие r_s = 0. Это вызвано как 5% ошибками первого рода, так и несоответствием реальных распределений теоретическим предпосылкам нормальности ошибок.

Следующая Q-статистика может быть использована для тестирования, когда группа АКФ значимо отличается от нуля. Q-статистика была создана Боксом и Пирсом (1970) и имеет вид:

. (10.49)

Если данные порождены стационарным АРСС-процессом, то Q ассимптотически c² распределенная с s степенями свободы. Интуитивно ясно, что большие значения АКФ ведут к большим значениям Q. Если Q-выборочное превышает соответствующее табличное значение Q, то мы отвергаем гипотезу о незначимости группы АКФ. Отметим, что альтернативная гипотеза означает, что хотя бы одна АКФ не равна нулю.

Однако, как оказалось, что даже в средней величины выборках Q-статистика работает плохо. Льюbc и Бокс (1978) для малых выборок применили модифицированную Q-статистику, вычисленную по формуле

Q = T(T + 2) . (10.50)

Если выборочное значение Q-статистики превышает критическое значение c² распределения с s степенями свободы, то по крайней мере одно значение r_k статистически отлично от нуля при данном уровне значимости. Особо полезны эти статистики для проверки гипотезы о том, образуют ли остатки вычисленной АРСС(p, q)-модели белый шум. Поэтому если рассчитывать s АКФ для остатков оцененной АРСС(p, q)-модели, то число степеней свободы уменьшается на число коэффициентов модели. Следовательно, используя остатки для АРСС(p, q)-модели, мы должны проверять Q с помощью c² распределения с s-p-q степенями свободы (а если включена свободная постоянная, то используем таблицы c² распределения с s-p-q-1 степенями свободы).

Селекция моделей АРСС.

Наиболее простой и популярный в настоящее время метод селекции моделей состоит в том, что строится множество моделей с различными p и q, а затем выбирается модель минимизирующая выбранный критерий селекции, характеризующий качество модели.

Существующие «внутренние» критерии селекции выражают компромисс между сложностью модели и величиной суммы квадратов остатков. Так наиболее популярными являются Акаике информационный критерий (AIC) и Шварца бестестовый критерий (SBC), вычисляемые по формулам

AIC = T ln(R²) + 2n,

SBC = T ln(R²) + n ln(T),

где R² - сумма квадратов остатков (ошибок) модели, n - число оцениваемых параметров модели, Т - число используемых наблюдений.

Так как ln(T)>2, то SBC- оптимальная модель будет менее сложной, чем AIC- оптимальная модель. Стоимость «добавки» лишнего слагаемого больше для SBC-критерия, чем для AIC-критерия. Доказано, что с увеличением выборки SBC-модели асимптотически состоятельны, в то время как AIC-модели склоняются в сторону переусложненной модели.

Рассмотренные выше критерии отбора являются «внутренними», то есть используют данные уже ранее использованные для построения моделей.

Если позволяет величина выборки, то гораздо надежнее использовать «внешние» критерии селекции, то есть использовать независимые наблюдения, не вошедшие в первоначальную выборку. Алгоритм построения АРСС(p, q)-модели по внешнему критерию минимизации ошибок на «экзаменующей» выборке предлагается ниже.