Пособие состоит из двух самостоятельных разделов

Вид материала

Документы

Содержание Обобщенный метод наименьших квадратов

Подобный материал:

• Пособие состоит из двух самостоятельных разделов, 1481.78kb.
• Экзамен по избранному виду спорта состоит из двух разделов теоретического и практического, 49.78kb.
• Экзамен по избранному виду спорта состоит из двух разделов теоретического и практического, 81.96kb.
• Курсовая работа по дисциплине Экономика предприятия состоит из двух разделов: теоретической, 153.63kb.
• Аннотации дисциплин, 456.29kb.
• Виктор Сергеевич Стародубцев учебное пособие, 718.78kb.
• Природоохранное и природоресурсное закон, 1307.64kb.
• -, 9049.93kb.
• Методические рекомендации по выполнению самостоятельной работы студентов по дисциплине, 54.29kb.
• Программа состоит из двух разделов: Примерная программа родительского всеобуча «Семейная, 451.17kb.

Обобщенный метод наименьших квадратов

Отбросим предположение, что в регрессионной модели ошибки независимы. Пусть ошибки кореллированы и структура матрицы ковариаций ошибок V известна. Найдем оценки в этой регрессии методом МП при нормально распределенных ошибках. Заметим, что метод можно использовать и для более широкого класса распределений.

Модель имеет вид

Y = X + , где  ~N(0,V ).

Плотность распределения  равна

p_(z) = (2) |V  |  exp(– z^TV z).

Отсюда получим логарифмическую функцию правдоподобия

 = – ln(2) – ln|V  | – (Y – X)^TV (Y – X).

Далее мы рассмотрим случай, когда V известна с точностью до множителя:

V =  ²W.

Подставим это выражение в функцию правдоподобия:

 = – ln(2 ²) – ln|W | – (Y – X)^TW (Y – X).

Воспользовавшись условием первого порядка

= 0,

выразим  ² через :  ²() = RSS( )/N где

RSS( ) = (Y – X)^TW (Y – X)

— обобщенная сумма квадратов остатков.

Подставив  ²() в логарифмическую функцию правдоподобия, получим концентрированную функцию правдоподобия:

 = – ln(2 ) – ln|W | – .

Поскольку W — константа, то максимизация  эквивалентна минимизации обобщенной суммы квадратов: RSS( )  min_ .

 = 0  Y ^TW X = ^TX ^TW X.

Получим оценку МП для  :

  = (X ^TW X)X ^TW Y.

На практике удобно использовать не эту формулу, а преобразовать X и Y так, чтобы можно было делать расчеты с помощью ОМНК. Поскольку W — симметричная положительно определенная матрица, то к ней можно применить разложение Холецкого (или любое другое аналогичное представление):

W = TT ^T,

где T — нижняя или верхняя треугольная матрица. Отсюда

W  = (T )^TT ,

  = (X ^T(T )^TT X)X ^T(T )^TT Y.

Обозначим T X = X ^*, T Y = Y ^*. Тогда выражение для   примет вид:

  = (X ^* TX ^*) X ^{* T}Y ^*.

Таким образом, оценки коэффициентов  можно найти, применив обычный метод наименьших квадратов к регрессии Y ^* по X ^*. Вообще говоря, предположения о нормальности не требуется для состоятельности оценок, и на метод максимального правдоподобия можно было не ссылаться, поскольку предложенное преобразование сразу приводит к классической регрессионной модели.

Несложно проверить, что информационная матрица равна

 = X ^TW X,

поэтому и ковариационная матрица оценок полученная из той же регрессии будет оценкой ковариационной матрицы оценок максимального правдоподобия:

V() =  ² (X ^TW X) =  ² (X ^* TX ^*),

где  ² — оценка дисперсии в регрессии Y ^* по X ^*, которая является оценкой параметра  ² в исходной модели. Это позволяет использовать t- и F-статистики в преобразованной модели для проверки гипотез о коэффициентах .

В более общем случае матрица ковариаций ошибок V зависит от вектора неизвестных параметров . Эту модель в дальнейшем будем называть моделью обобщенного метода наименьших квадратов, хотя ковариационная матрица ошибок в обобщенном методе наименьших квадратов в собственном смысле слова зависит от единственного неизвестного множителя. Предполагается, что два вектора параметров не связаны между собой, т.е. математическое ожидание Y не зависит от , а матрица ковариаций V не зависит от .

 = – ln(2) – ln |V() | – (Y – X)^TV()(Y – X).

Информационная матрица будет блочно­­-диагональной­­­­­­­­­­­­­­­­­­­: ее часть, соответствующая “взаимодействию”  и  будет равна нулю:

= (Y – X)^TV()X.

= (Y – X)^T X.

 = E((₀, ₀)) = E(^T X) = E(^T) X = O.

Отсюда следует, что для проведения тестов относительно  можно использовать просто диагональный блок информационной матрицы, относящийся к , не учитывая, что — оценки, и наоборот, для проведения тестов относительно  можно использовать просто диагональный блок информационной матрицы, относящийся к  :

 = E(^T ) = X ^TV()X.

Если имеется способ получить состоятельную оценку параметров  ( то эффективную оценку параметров  благодаря блочно-диа­го­наль­ности информационной матрицы можно получить за один шаг:

= (X ^TV(X)X ^TV(Y.

Такую оценку принято называть одношаговой эффективной оценкой, а метод называют возможный обобщенный метод наименьших квадратов (feasible generalized least squares).

Если на основании оценок  можно из условий первого порядка максимума правдоподобия вычислить оценки , то можно использовать итеративный обобщенный метод наименьших квадратов (iterated generalized least squares). Этот метод сходится к оценкам максимального правдоподобия.