Автокорреляция остатков временного ряда
Критерий Дарбина – Уотсона
Тест серий (Бреуша - Голфри)
Q-тест Льюинга-Бокса
Устранение автокорреляции
Главная страница раздела 1
Главная страница раздела 2
Задание 1
Задание 2
Литература

Автокорреляция остатков временного ряда.
Положительная и отрицательная автокорреляция

   Упорядоченность наблюдений оказывается существенной в том случае, если прослеживается механизм влияния результатов предыдущих наблюдений на результаты последующих. Математически это выражается в том, что случайные величины εi, в регрессионной модели не являются независимыми и условие r(εi, εj) = 0 не выполняется. Такие модели называются моделями с наличием автокорреляции, на практике ими оказываются именно временные ряды.
   Рассмотрим в качестве примера временной ряд yt - ряд последовательных значений курса ценной бумаги А, наблюдаемых в моменты времени 1, ..., 100. Результаты наблюдений графически изображены на рисунке.
   Очевидно, курс ценной бумаги А имеет тенденцию к росту, что можно проследить на графике.
   Оценивая обычным методом наименьших квадратов зависимость курса от номера наблюдений получим следующие результаты:
Насколько достоверны эти уравнения? Естественно предположить, что результаты предыдущих торгов оказывают влияние на результаты последующих: если в какой-то момент курс окажется завышенным по сравнению с реальным, то скорее всего он будет завышен на следующих торгах, т. е. имеет место положительная автокорреляция.
   Графически положительная автокорреляция выражается в чередовании зон, где наблюдаемые значения оказываются выше предсказанных, и зон, где наблюдаемые значения ниже.
   На рисунке можно представить графики наблюдаемых значений yt и объясненных, сглаженных ŷt.
   Отрицательная автокорреляция встречается в тех случаях, когда наблюдения действуют друг на друга по принципу "маятника" - завышенные значения в предыдущих наблюдениях приводят к занижению их в наблюдениях последующих. Графически это выражается в том, что результаты наблюдений yt "слишком часто" "перескакивают" через график объясненной части ŷt. Примерное поведение графика наблюдаемых значений временного ряда можно изобразить на рисунке.
  

Критерий Дарбина – Уотсона

   Если автокорреляция присутствует, то наибольшее влияние на последующее наблюдение оказывает результат предыдущего наблюдения. Так, например, если рассматривается ряд значений курса какой-либо ценной бумаги, то результат последних торгов служит отправной точкой для формирования курса на следующих торгах.
   Ситуация, когда на значение наблюдения уt, оказывает основное влияние не результат уt-1, а более ранние значения, является достаточно редкой. Чаще всего при этом влияние носит сезонный (циклический) характер, например, на значение уt оказывает наибольшее влияние уt-7, если наблюдения осуществляются ежедневно и имеют недельный цикл (например, сбор кинотеатра). В этом случае можно составить ряды наблюдений отдельно по субботам, воскресеньям и так далее, после чего наиболее сильная корреляция будет наблюдаться между соседними членами.
   Таким образом, отсутствие корреляции между соседними членами служит хорошим основанием считать, что корреляция отсутствует в целом, и обычный метод наименьших квадратов дает адекватные и эффективные результаты.
   Тест Дарбина – Уотсона определяет наличие автокорреляции между соседними членами. Тест Дарбина-Уотсона основан на простой идее: если корреляция ошибок регрессии не равна нулю, то она присутствует и в остатках регрессии е i , получающихся в результате применения обычного метода наименьших квадратов.
   В тесте Дарбина – Уотсона для оценки корреляции используется статистика вида
   Теорема. Статистика Дарбина – Уотсона связана с выборочным коэффициентом корреляции между соседними наблюдениями соотношением
   Доказательство.
   При большом числе наблюдений сумма значительно меньше и в силу .
   В случае отсутствия автокорреляции выборочный коэффициент r не сильно отличается от нуля, а значение статистики d будет близко к двум. Близость наблюдаемого значения к нулю должно означать наличие положительной автокорреляции, к четырем - отрицательной.
   Тест Дарбина – Уотсона имеет недостаток – распределение статистики d зависит не только от числа наблюдений, но и от значений объясняющих величин Х j (j = 1, … , р). Это означает, что тест Дарбина – Уотсона не представляет собой статистический критерий в том смысле, что нельзя указать критическую область, которая позволила бы отвергнуть гипотезу об отсутствии автокорреляции. Однако существуют два пороговых значения d в и dн, зависящие только от числа наблюдений, числа объясняющих величин, уровня значимости.
   Для d - статистики найдены верхняя dв и нижняя dн границы на уровнях значимости α = 0,01; 0,025 и 0,05. В таблице приложений приведены значения статистик dн и dв критерия Дарбина-Уотсона на уровне значимости α = 0,05.
   Недостатками критерия Дарбина-Уотсона являются наличие области неопределенности критерия, а также то, что критические значения d-статистики определены для объемов выборки не менее 15.
   Выяснить на уровне значимости 0,05 наличие автокорреляции в остатках для временного ряда у t курса акций, приведённого в лекции 12, по критерию Дарбина – Уотсона.
  t y t·y t2 y 2 ŷt et et-1 et·et-1 et2
  1 971 971 1 942841 885,2885 85,71146 - - 7346,455
  2 1166 2332 4 1359556 905,4472 260,5528 85,71146 22332,36 67887,76
  3 1044 3132 9 1089936 925,6059 118,3941 260,5528 30847,92 14017,17
  4 907 3628 16 822649 945,7645 -38,7645 118,3941 -4589,49 1502,69
  5 957 4785 25 915849 965,9232 -8,92321 -38,7645 345,904 79,62363
  6 727 4362 36 528529 986,0819 -259,082 -8,92321 2311,841 67123,42
  7 752 5264 49 565504 1006,241 -254,241 -259,082 65869,12 64638,25
  8 1019 8152 64 1038361 1026,399 -7,39921 -254,241 1881,179 54,7483
  9 972 8748 81 944784 1046,558 -74,5579 -7,39921 551,6694 5558,877
  10 815 8150 100 664225 1066,717 -251,717 -74,5579 18767,45 63361,22
  11 823 9053 121 677329 1086,875 -263,875 -251,717 66421,76 69630,13
  12 1112 13344 144 1236544 1107,034 4,966121 -263,875 -1310,44 24,66236
  13 1386 18018 169 1920996 1127,193 258,8075 4,966121 1285,269 66981,3
  14 1428 19992 196 2039184 1147,351 280,6488 258,8075 72634 78763,74
  15 1364 20460 225 1860496 1167,51 196,4901 280,6488 55144,71 38608,37
  16 1241 19856 256 1540081 1187,669 53,33145 196,4901 10479,1 2844,244
  17 1145 19465 289 1311025 1207,827 -62,8272 53,33145 -3350,67 3947,259
  18 1351 24318 324 1825201 1227,986 123,0141 -62,8272 -7728,63 15132,47
  19 1325 25175 361 1755625 1248,145 76,85545 123,0141 9454,305 5906,76
  20 1226 24520 400 1503076 1268,303 -42,3032 76,85545 -3251,23 1789,562
  21 1189 24969 441 1413721 1288,462 -99,4619 -42,3032 4207,558 9892,667
  22 1213 26686 484 1471369 1308,621 -95,6206 -99,4619 9510,601 9143,29
сред 11,5 1096,955 13426,36 172,5 1246676     Сумма 351814,3 594234,7
cov 811,3864                  
дисп 40,25 43367,13                
b 20,15867             d 0,815908  
a 865,1299                  
  dн dв                
0 1,24 1,43 2,57 2,76 4          
   По таблице приложений при n = 22 критические значения dн = 1,24; dв = 1,43, т. е. фактически найденное значение d = 0,815908 находится в пределах от 0 до dн. Судя по тенденции изменений d - статистик, с уменьшением n, можно предполагать, что найденное значение останется в интервале (0; dн), т. е. для рассматриваемого временного ряда спроса на уровне значимости 0,05 гипотеза об отсутствии автокорреляции возмущений не отвергается (принимается).
   Фактическое d попадает в зону, которая свидетельствует о положительной автокорреляции.

Тест серий (Бреуша - Голфри)

   Статистика Дарбина-Уотсона, является индикатором наличия автокорреляции. Однако, тест обладает недостатками. Это наличие зоны неопределенности, и ограниченность результата (выявляется лишь корреляция между соседними членами). Ничего нельзя сказать о характере автокорреляции.
   Это приводит к необходимости использовать также другие тесты на наличие автокорреляции.
   Тест серий (Бреуша-Годфри) основан на следующей идее: если имеется корреляция между соседними наблюдениями, то в уравнении
et = ρ et-1 + νt, t = 1,..., n,                        (1)
(где et - остатки регрессии, полученные обычным методом наименьших квадратов), коэффициент ρ значимо отличается от нуля.
   Заметим, что уравнение (1) является авторегрессионным уравнением первого порядка.
   Практическое применение теста заключается в оценивании методом наименьших квадратов регрессии (1).
   Преимущество теста Бреуша-Годфри по сравнению с тестом Дарбина-Уотсона заключается в том, что он проверяется с помощью статистического критерия. Другим преимуществом теста является возможность обобщения: в число регрессоров могут быть включены не только остатки с лагом 1, но и с лагом 2, 3 и т. д., что позволяет выявить корреляцию не только между соседними, но и между более отдаленными наблюдениями.
   Вернемся к примеру зависимости курса ценной бумаги А от времени и применим тест серий Бреуша-Годфри.
   Применяя метод наименьших квадратов, получим следующее уравнение:
et = -10,76 + 0,95·et-1 - 0,61·et-2 + 0,19·et-3                        (2)
   Стандартные отклонения коэффициентов уравнения регрессии равны
Табличное значение критерия Стьюдента t0,05;22-3-1 = 2,101 и значимыми в уравнении являются второй (t2 = 4,15) и третий (t3 = 2,28) параметры. Однако корреляционная матрица
показывает сильную связь результата наблюдений et и et-1, связь между et и et-2, а также между et и et-3 практически отсутствует. К такому же выводу приводит и значение статистики Дарбина- Уотсона.

Q-тест Льюинга-Бокса

   Тест основан на рассмотрении выборочной автокорреляционной функции r(τ) и частной автокорреляционной функции rчастн(τ) временного ряда.
   Если ряд стационарный, то выборочный частный коэффициент корреляции rчастн(р) совпадает с оценкой обычного метода наименьших квадратов коэффициента βр в авторегрессионной модели:
yt = βо + β1 yt-1 + … + βp yt-p + εt.
   Это утверждение лежит в основе вычисления значений частной автокорреляционной функции.
   График выборочной автокорреляционной функции называется коррелограммой. Коррелограмма является быстро убывающей функцией.
   В случае отсутствия автокорреляции все значения автокорреляционной функции равны нулю. Ее выборочные значения r(τ) окажутся отличными от нуля, но в этом случае отличие не должно быть существенным. На этой идее основан еще один тест, проверяющий гипотезу об отсутствии автокорреляции, - Q-тест Льюинга-Бокса.
   Статистика Льюинга-Бокса имеет вид:
.                        (3)
   Если Qp > χ²α;p, то гипотеза о наличии актокорреляции между уровнями et и et-p принимается.
   Пример. Проверить гипотезу об отсутствии автокорреляции в модели зависимости курса ценной бумаги А от времени t.    
Решение. Значение d-статистики Дарбина-Уотсона, примерно равное единице, дает оценку коэффициента корреляции между et иet-1, т. е. r(1) = 0,585. Отсюда по формуле (3)
Так как фактическое значение статистики больше критического 3,84 , то гипотеза о наличии авторегрессии первого порядка принимается. Результат тестирования этих гипотез должен совпадать с выводом, к которому приводит значение статистики Дарбина- Уотсона.
   Замечание. Критические значения χ²α;р статистики растут с увеличением р. Величины Qp также растут, но, возможно, медленнее. Таким образом, формальное применение теста Льюинга-Бокса может привести к парадоксальным выводам: например, отвергается гипотеза об отсутствии автокорреляции первого порядка, но не отвергается гипотеза об отсутствии автокорреляции всехостальных порядков! На самом деле противоречия здесь нет. Тот факт, что гипотеза не отвергается, не означает, что она на самом деле верна, можно лишь утверждать, что если она верна, то наблюдаемый результат возможен с вероятностью, большей, чем уровень значимости. Впрочем, подобного рода ситуации на практике встречаются достаточно редко.

Устранение автокорреляции. Идентификация временного ряда

   Одной из причин автокорреляции ошибок регрессии является наличие "скрытых" регрессоров, влияние которых в результате проявляется через случайный член. Выявление этих "скрытых" регрессоров часто позволяет получить регрессионную модель без автокорреляции.
   Наиболее часто "скрытыми" регрессорами оказываются лаговые объясняемые переменные. В случае временного ряда можно предположить, что значения объясняемых переменных зависят не только от включенных уже регрессоров, но и от предыдущих значений объясняемой переменной. Рассмотренные тесты показывают, что это почти всегда имеет место в случае автокорреляции.
   Другой механизм образования автокорреляции следующий. Случайные возмущения представляют собой белый шум ξt, но на результат наблюдения yt влияет не только величина ξt, но несколько предыдущих величин ξ t-1, …, ξ t-p.
   Например, рассматривая модель формирования курса ценной бумаги А, мы можем считать, что кроме временной тенденции на курс еще влияет конъюнктура рынка, которую в момент времени t можно считать случайной величиной ξt с нулевым средним и некоторой дисперсией. Будем предполагать, что величины ξt независимы. Естественно ожидать, что на формирование курса в момент времени t будет оказывать влияние конъюнктура ξt и конъюнктуры в дни предыдущих торгов ξ t-τ и т. д.
   Наиболее распространенным приемом устранения автокорреляции во временных рядах является подбор соответствующей модели - авторегрессионной, скользящей средней или авторегрессионной модели скользящей средней для случайных возмущений регрессии.
   В число регрессоров в моделях временных рядов могут быть включены и константа, и временной тренд, и какие-либо другие объясняющие переменные. Ошибки регрессии могут коррелировать между собой, однако, мы предполагаем, что остатки регрессии образуют стационарный временной ряд.
   Идентификацией временного ряда называется построение для ряда остатков адекватной модели, в которой остатки представляют собой белый шум, а все регрессоры значимы. Такое представление не единственное, например, один и тот же ряд может быть идентифицирован и с помощью разных моделей. В этом случае выбирается наиболее простая модель.
   Как подбирать для данного временного ряда подходящую модель? Безусловно, разумен метод элементарного подбора - пробуются различные модели; при этом начинается поиск с самых простых моделей, которые постепенно усложняются, пока не будет достигнута идентификация.
   Полезную информацию можно получить с помощью выборочных автокорреляционной и частной автокорреляционной функций. Выборочная частная автокорреляционная функция rчаст(р) есть оценка параметра βp в авторегрессионной модели р-го порядка. Отсюда делаем вывод:
   Если все значения выборочной частной автокорреляционной функции порядка выше р незначимо отличаются от нуля, временной ряд следует идентифицировать с помощью модели, порядок авторегрессии которой не выше р.
   Теперь рассмотрим модель скользящей средней
yt = εt + γ1 εt-1 + γ2 εt-2 + … + γq εt-q.
   Из того, что величины εt при различных t не коррелируют, следует, что величины yt и yt-τ могут коррелировать только при τ < q. Таким образом, если все значения выборочной автокорреляционной функции порядка выше q незначимо отличаются от нуля, временной ряд следует идентифицировать с помощью модели скользящей средней, порядок которой не выше q.