Пособие состоит из двух самостоятельных разделов

Вид материала

Документы

Содержание Регрессия с ошибками во всех переменных

Подобный материал:

• Пособие состоит из двух самостоятельных разделов, 1481.78kb.
• Экзамен по избранному виду спорта состоит из двух разделов теоретического и практического, 49.78kb.
• Экзамен по избранному виду спорта состоит из двух разделов теоретического и практического, 81.96kb.
• Курсовая работа по дисциплине Экономика предприятия состоит из двух разделов: теоретической, 153.63kb.
• Аннотации дисциплин, 456.29kb.
• Виктор Сергеевич Стародубцев учебное пособие, 718.78kb.
• Природоохранное и природоресурсное закон, 1307.64kb.
• -, 9049.93kb.
• Методические рекомендации по выполнению самостоятельной работы студентов по дисциплине, 54.29kb.
• Программа состоит из двух разделов: Примерная программа родительского всеобуча «Семейная, 451.17kb.

Регрессия с ошибками во всех переменных

В классической регрессионной модели ошибка содержится в единственной переменной — той, которая стоит в левой части (зависимой переменной). Рассмотрим более общий случай.

Пусть имеется матрица ненаблюдаемых исходных переменных X = (X₁,..., X_M), X = {X_ij }, i = 1, ..., N, j = 1, ..., M. Эти переменные связаны между собой линейной зависимостью: X = 0. Требуется оценить коэффициенты . Наблюдаются только переменные Y, которые представляют собой переменные X измеренные с ошибками:

Y_j = X_j + _j.

Предполагается, что ошибки некоррелированы для разных номеров наблюдений, но ошибки, относящиеся к наблюдениям с одним и тем же номером i коррелированы, причем матрица ковариаций  точно известна. Для того, чтобы можно было воспользоваться методом максимального правдоподобия, делаем предположение, что ошибки распределены нормально.

Логарифмическая функция правдоподобия равна

 = – ln || –  E_iE_i ^T+ const  max _{X, }

где E_i = Y_j – X_j — i-я строка матрицы остатков.

Максимизируем функцию правдоподобия при ограничении X = 0.

Задачу максимизации можно записать с помощью лагранжиана:

L = – Tr((Y – X) (Y – X)^T) – ^TX =

= – Tr(Y Y ^T) + Tr(X Y ^T) – Tr(X X ^T) – ^TX.

= Y ^T – X ^T–  ^T = 0.

Используем

= B = 2BA^T = yx^T.


Отсюда получим выражение для X:

X = Y –  ^T.

Если домножить это уравнение на  и вспомнить, что X = 0, то

Y =  ^T ,   = Y.

Подставим эти соотношения в функцию правдоподобия и получим концентрированную функцию правдоподобия (“концентрированный лагранжиан”):

 = – Tr( ^T  ^T) = – Tr(^T  ^T ) = – ^T  ^T  =

= –

Таким образом, нахождение максимума правдоподобия равносильно минимизации следующей функции:

 =  min_

Условие первого порядка для минимума:

= 2 Y ^TY – 2   = 0

 (Y ^TY – )  = 0

или (Y ^TY –)  = (Y ^TY – )  = 0.

Таким образом,  должно быть собственным числом матрицы Y ^TY, а  — ее собственным вектором. Проверим, что эти два условия не противоречат друг другу. Пусть _k — некоторый собственный вектор, _k — соответствующее собственное число этой матрицы:

(Y ^TY –  _k) _k = 0.

Покажем, что  _k = .

Домножим слева на  _k^T:

 _k^TY ^TY _k –  _k  _k^T   _k = 0.

Отсюда получаем требуемое равенство.

Поскольку требуется минимизировать , то нужно выбрать минимальное собственное число _min. Оценкой вектора коэффициентов будет соответствующий собственный вектор _min. Отсюда получаем оценки для матрицы исходных переменных X:

X = Y –  ^T = Y – Y  ^T = Y(I –   ^T).

В частном случае, когда ошибка имеется только в первой переменной

 = .

Нужно минимизировать величину

 = = (Y₁ + Y₍₁₎ ₍₁₎)^T(Y₁ + Y₍₁₎ ₍₁₎).

где Y₍₁₎ — матрица Y без первого столбца, ₍₁₎ — вектор  без первого элемента. Если обозначить = Y₁, = Y₍₁₎, = ₍₁₎ то получим ОМНК:

( – )^T( – )  min