Книги по разным темам Pages:     | 1 |   ...   | 2 | 3 | 4 | 5 | 6 |   ...   | 22 |

Обозначим через функцию потерь (economic loss function), характеризующую отклонения прогнозных значений в момент времени t, оцененных на основе модели i (в нашем случае i - это либо А, либо В), от истинного значения ряда в этот момент времени. Нередко в качестве функции потерь берется некоторая функция от ошибки прогнозирования, т.е.. Например, в качестве функции потерь может выступать одна из стандартных характеристик качества прогнозов: МАРЕ, МАЕ или RMSE. Тогда нулевая гипотеза об отсутствии различий между прогнозными свойствами двух моделей (т.е. ) эквивалентна гипотезе о равенстве нулю среднего уровня разности между функциями потерь сравниваемых моделей (т.е. E[dt]= 0, где ).

Если последовательность разностей между функциями потерь является слабо стационарным временным рядом, то можно показать, что 1 См. (Турунцева, Юдин, Дробышевский, Кадочников, Трунин, Пономаренко, 2002, с. 9Ц10).

2. МЕТОДЫ СРАВНИТЕЛЬНОЙ ОЦЕНКИ КАЧЕСТВА ПРОГНОЗОВ...

где представляет собой среднее значение ряда разностей между функциями потерь, а - значение в нуле спектральной плотности разности функций потерь, - автоковариации разности между функциями потерь порядка.

Таким образом, получаем, что в больших выборках выборочное среднее значение разности потерь является приблизительно нормально распределенной случайной величиной со средним значением и дисперсией, где - теоретическое среднее значение разности потерь. И тогда в качестве статистики для проверки гипотезы о совпадении качества прогнозов, полученных по двум различным моделям, можно использовать статистику:

,, где является состоятельной оценкой спектральной плотности. В работе предлагается в качестве такой оценки использовать оценку как взвешенной суммы некоторого количества выборочных автоковариаций разности потерь. Выбор количества автоковариаций (ширины окна) в подобных процедурах неоднозначен. В данной работе авторы предлагают суммировать выборочные автоковариации разности потерь для значений, меняющихся от Ц(TЦ1) до TЦ1, где T - горизонт прогнозирования. Помимо предложенного способа выбора ширины окна существуют и другие (см., например, (Newey, West, 1993), (Schwert, 1989)).

Рассмотренный способ проверки гипотезы о совпадении качества прогнозов, основанных на различных моделях, является надежным для широкого класса функций потерь. В частности, функции потерь не обязаны быть квадратическими или симметричными и непрерывными. Помимо этого, отметим еще раз, что ошибки прогнозирования могут не быть гауссовскими, а также могут иметь ненулевой средний уровень и быть коррелированными (как серийно, так и одновременно). Последнее допущение 2.2. ТЕСТЫ НА ОТСУТСТВИЕ ЗНАЧИМЫХ РАЗЛИЧИЙ МЕЖДУ ПРОГНОЗАМИ особенно важно, поскольку сравниваемые прогнозы являются прогнозами одного и того же временного ряда и основаны на довольно сильно совпадающих информационных множествах, вследствие чего ошибки прогнозирования могут быть сильно одновременно коррелированными.

Вместе с тем ошибки прогнозирования в общем случае являются серийно коррелированными, и предложенный тест позволяет учитывать и эту особенность.

Помимо теста Диболда - Мариано в своей работе авторы описали несколько известных простых тестов для сравнения качества прогнозов.

Простейший F-тест. Данный тест можно использовать, если функция потерь имеет квадратичный вид, а ошибки прогнозирования удовлетворяют всем стандартным требованиям: имеют нулевой средний уровень, являются нормальными, а также серийно и одновременно некоррелированны. Тогда тестовая статистика выглядит следующим образом:

где T - горизонт прогнозирования; eA и eB - (Tx1)-векторы ошибок прогнозирования.

Таким образом, при условии, что математическое ожидание ошибок прогнозирования равно нулю, можно говорить о том, что тестовая статистика представляет собой отношение выборочной ковариации между ошибками прогнозирования, полученными по различным моделям, к выборочной дисперсии ошибки прогнозирования, полученной по модели В.

Тест Моргана - Гренджера - Ньюболда. В данном случае предполагается выполнение всех требований F-теста, за исключением последнего требования об одновременной некоррелированности ошибок прогнозирования. Пусть xt=eAt+eBt и zt= eAt-eBt представляют собой соответственно ряды суммы и разности ошибок прогнозирования, полученных в различных моделях, а xt=eA+eB и zt= eA-eB - это соответствующие векторы.

Тогда тестовая статистика имеет вид:

,, где - коэффициент корреляции между суммой и разностью ошибок прогнозирования, посчитанных с использованием различ2. МЕТОДЫ СРАВНИТЕЛЬНОЙ ОЦЕНКИ КАЧЕСТВА ПРОГНОЗОВ...

ных моделей. Заметим, что Диболд и Мариано в своей статье отмечают, что единственным из предположений о характере ошибок прогнозирования, которое не может быть ослаблено, является предположение о том, что функции потерь имеют квадратичный вид.

Тест Миза - Рогова. Наконец, в случае если ошибки прогнозирования являются и серийно, и одновременно коррелированными, можно использовать тест Миза - Рогова:

, где - представляет собой коэффициент ковариации между суммой и разностью ошибок прогнозирования;

- состоятельная оценка ковариационной матрицы;

,,, и S(T) является возрастающей функцией по Т.

Можно показать, что если ряды ошибок не являются серийно коррелированными, то статистика Миза - Рогова асимптотически совпадает со статистикой Моргана - Гренджера - Ньюболда. Иногда для вычисления ошибки прогнозирования доступно всего лишь несколько наблюдений.

В этих условиях предложенный тест Диболда - Мариано не дает точных результатов в силу его асимптотической сходимости. В этом случае можно использовать тест знаков и ранговый тест знаков Вилкоксона.

2.2. ТЕСТЫ НА ОТСУТСТВИЕ ЗНАЧИМЫХ РАЗЛИЧИЙ МЕЖДУ ПРОГНОЗАМИ Тест знаков. В общем случае (в том числе когда математическое ожидание функции разности потерь не равно нулю) нулевая гипотеза, тестируемая при помощи теста знаков, имеет вид:

против альтернативной:

То есть мы проверяем гипотезу о том, что медиана разности функций потерь не отличается значимо от нуля.

Если же математическое ожидание разности функций потерь равно нулю и разность функций потерь есть независимая одинаково распределенная случайная величина, то исходная нулевая гипотеза может быть заменена одной из двух следующих нулевых гипотез:

или и соответствующих альтернативных гипотез.

В предположении о симметричности распределения функции разности потерь число положительных наблюдений в выборке размера Т имеет биноминальное распределение с параметрами Т и 1/2. Тогда тестовая статистика имеет вид:

T 1, если dt > 0, dt S2 = (dt ) I+(dt )=, где I+(dt) I+ t=1 dtt 0, если d 0, т.е. тестовая статистика считается как количество значений функции потерь от ошибки прогнозирования по модели А в момент времени t = 1,Е, T, превышающих значение функции потерь от ошибки прогнозирования по модели В в соответствующий момент времени, и уровень значимости может быть оценен с помощью таблиц кумулятивного биноминального распределения. В больших выборках можно использовать статистику, которая имеет асимптотически стандартное нормальное распределе2. МЕТОДЫ СРАВНИТЕЛЬНОЙ ОЦЕНКИ КАЧЕСТВА ПРОГНОЗОВ...

ние. В данном случае мы фактически вычисляем, насколько часто значение функции потерь от ошибки прогнозирования модели А превышает значение функции потерь от ошибки прогнозирования по модели В в соответствующие моменты времени. Если значимых различий между прогнозными свойствами моделей нет, то статистика S2 должна быть приблизительно равна 0,5Т, т.е. приблизительно в половине случаев значение функции потерь ошибки прогнозирования модели А оказывается больше соответствующего значения функции потерь ошибки прогнозирования модели В, а в остальных случаях (также приблизительно в половине) - наоборот.

Ранговый тест знаков Вилкоксона является более мощным тестом по сравнению с тестом знаков. В предположении симметричности разности функций потерь ошибок прогнозирования различных моделей, а также в случае когда разность функций потерь ошибок прогнозирования является независимой одинаково распределенной случайной величиной, тестовая статистика рассчитывается на основе формулы, где rank dt - ранг абсолютной величины значения разности функций потерь ошибок прогнозирования различных моделей в момент времени t = 1,Е, T. Тогда S3 - сумма рангов положительных значений разности функций потерь ошибок прогнозирования разных моделей.

Можно показать, что статистика имеет асимптотически стандартное нормальное распределение.

Используя метод Монте-Карло, Диболд и Мариано показали, что:

- F-критерий дает корректные результаты, если ошибки прогнозирования различных моделей не являются серийно и одновременно коррелированными. В противном случае, если присутствует серийная корреляция, эмпирический размер критерия превышает номинальный и, следовательно, повышается вероятность совершения ошибки первого рода, т.е. увеличивается вероятность отвержения нулевой гипотезы, когда она верна.

Наличие одновременной корреляции, напротив, сильно снижает размер критерия, т.е. уменьшает вероятность отклонения нулевой гипотезы и тем самым увеличивает вероятность совершения ошибки второго рода.

2.2. ТЕСТЫ НА ОТСУТСТВИЕ ЗНАЧИМЫХ РАЗЛИЧИЙ МЕЖДУ ПРОГНОЗАМИ Если присутствуют и серийная, и одновременная корреляции ошибок прогнозирования, то одновременная корреляция является доминирующей, поэтому размер критерия недооценивается.

- Наличие одновременной корреляции не влияет на результаты теста Моргана ЦГренджера - Ньюболда, и при отсутствии серийной корреляции он дает корректные оценки размера критерия. Если же серийная корреляция присутствует, то эмпирический размер критерия превышает номинальный.

- Тест Миза - Рогова в больших выборках не чувствителен ни к серийной, ни к одновременной корреляции. В малых выборках этот тест переоценивает размер критерия по сравнению с номинальным уровнем. При этом асимптотическое распределение оказывается корректным уже при Т > 64.

- Тест Диболда - Мариано, как и тест Миза - Рогова, не чувствителен к наличию и серийной, и одновременной корреляции в больших выборках. На малых выборках эмпирический размер критерия переоценивается по сравнению с номинальным, т.е. увеличивается вероятность отклонения нулевой гипотезы. Номинальный и эмпирический размеры критерия сходятся в данном случае несколько медленнее, чем в случае статистики Миза - Рогова.

- Статистики S2, S3 дают довольно близкие номинальные и эмпирические размеры критерия. Более того, статистики S2a, S3a довольно быстро сходятся к соответствующим асимптотическим распределениям, однако для их корректного использования требуется наличие симметричности распределения разности функций потерь. Диболд и Мариано получили, что в большинстве случаев эти распределения являются симметричными.

- При нарушении условия нормальности ошибок прогнозирования F-тест, тесты Моргана - Гренджера - Ньюболда и Миза - Рогова дают сильно смещенные результаты и в больших, и в малых выборках, т.е. эмпирические размеры критериев сильно отличаются от номинальных. С другой стороны, статистики Диболда - Мариано и S2a, S3a устойчивы к нарушениям предположения о нормальности распределения ошибок прогнозирования практически всегда, за исключением случаев очень малых выборок. В случае очень малых выборок хорошие результаты дают тест знаков и ранговый тест знаков Вилкоксона.

В заключение данного раздела остановимся на вопросе, который прямо не связан с методикой сравнительной оценки качества прогнозов, но оказывает непосредственное влияние на соответствующие результаты.

Речь здесь идет о том, в каких единицах измерения рассматриваются данные при оценке качества прогнозов. Приведем простой пример.

2. МЕТОДЫ СРАВНИТЕЛЬНОЙ ОЦЕНКИ КАЧЕСТВА ПРОГНОЗОВ...

Пусть инфляция в месяце Х составила 0,6%. При этом прогнозируемое значение инфляции было равно 0,5%. Тогда абсолютная процентная ошибка прогнозирования инфляции в месяце Х составляет.

Вместе с тем можно сказать, что уровень цен в месяце Х составил 100,6% относительно уровня цен в предыдущем месяце. И тогда абсолютная процентная ошибка прогнозирования будет равна.

То есть ошибки прогнозирования фактически одного и того же показателя различаются в сотни раз. Таким образом, результат оценки качества прогнозов зависит от того, в каких единицах измерения рассматриваются прогнозируемые величины (в темпах прироста или темпах роста). В данной работе мы используем прогнозы темпов прироста для проверки качества прогнозов моделей.

3. Сравнение качества Бюллетеня модельных расчетов краткосрочных прогнозов социальноэкономических показателей РФ и альтернативных методов прогнозирования Как уже говорилось выше, с конца 2003 г. Институт экономики переходного периода публикует Бюллетень модельных расчетов краткосрочных прогнозов социально-экономических показателей РФ, в котором представлены расчеты прогнозных значений 49 социально-экономических показателей Российской Федерации на период до 6 месяцев. Данные прогнозные значения получены на основе моделей временных рядов, разработанных по результатам исследований ИЭПП1. Используемые методы прогнозирования относятся к группе формальных, или статистических, методов. Иными словами, полученные значения не являются выражением мнения или экспертной оценки исследователя, а представляют собой расчеты будущих значений конкретного экономического показателя, выполненные на основе формальных моделей временных рядов ARIMA(p, d, q) с учетом существующего тренда и в некоторых случаях его значимых изменений. Представляемые прогнозы имеют инерционный характер, поскольку соответствующие модели учитывают динамику данных до момента построения прогноза и особенно сильно зависят от тенденций, характерных для временного ряда в период, непосредственно предшествующий интервалу времени, для которого строится прогноз. Данные оцен1 См., например: Энтов Р.М., Дробышевский В.П., Носко С.М., Юдин А.Д. Эконометрический анализ динамических рядов основных макроэкономических показателей.

М.: ИЭПП, 2001; Энтов Р.М., Носко В.П., Юдин А.Д., Кадочников П.А., Пономаренко С.С.

Проблемы прогнозирования некоторых макроэкономических показателей. М.: ИЭПП, 2002;

Носко В., Бузаев А., Кадочников П., Пономаренко С. Анализ прогнозных свойств структурных моделей и моделей с включением результатов опросов предприятий. М.: ИЭПП, 2003.

3. СРАВНЕНИЕ КАЧЕСТВА БЮЛЛЕТЕНЯ МОДЕЛЬНЫХ РАСЧЕТОВ....

Pages:     | 1 |   ...   | 2 | 3 | 4 | 5 | 6 |   ...   | 22 |    Книги по разным темам