согласно методу наименьших квадратов в качестве оценок параметров следует использовать

Согласно методу наименьших квадратов в качестве оценок параметров следует использовать

2.2. Оценка параметров линейной модели по методу наименьших квадратов (МНК)

Этот метод и многочисленные его модификации являются основными и в эконометрике. Поэтому при изучении данного курса ему нужно уделить особое внимание.

2.2.1. Критерий наименьших квадратов. Сравнение с другими возможными критериями

Запишем уравнение для отдельных наблюдений (реализаций) в парной линейной регрессии

Уравнение ( 2.6 ) выражает эмпирическую взаимосвязь между переменными модели и его можно записать только относительно конкретных наблюдений. Подчеркнем, что ошибки модели являются наблюдаемыми величинами, поскольку их можно определить исходя из наблюдений переменных модели.

В методе наименьших квадратов оценки a и b параметров модели строятся так, что бы минимизировать сумму квадратов ошибок (остатков) модели по всем наблюдениям. Таким образом, критерий (целевая функция) наименьших квадратов записывается в виде

Очевидно, правая часть выражения ( 2.7 ) является квадратичной функцией параметров a и b.

Замечание относительно переменных x.

Графическая иллюстрация принципа наименьших квадратов

Рис 2.2. Иллюстрация принципа наименьших квадратов

Рис 2.3. Между переменными нет зависимости

2.2.2. Вывод нормальных уравнений для оценок параметров регрессии. Решение нормальных уравнений. Варианты записи выражений для оценок параметров

Получим выражения для оптимальных в смысле минимума МНК-критерия оценок параметров модели парной линейной регрессии.

Согласно методу наименьших квадратов, необходимо минимизировать функцию двух переменных

Из курса высшей математики известно, что условием минимума функции вида ( 2.8 ) по переменным a и b является равенство нулю частных производных этой функции. Уравнения для определения оптимальных оценок получаются путем приравнивания нулю производной функции S(a,b) как функции только от a при фиксированном b и производной функции S(a,b) как функции только от b при фиксированном a.

Это приводит к следующей системе уравнений:

которую необходимо решить относительно переменных a и b. По правилам вычисления производных получим следующие выражения:

так что значения параметров a и b, минимизирующие квадратичную форму ( 2.8 ), удовлетворяют соотношениям

После несложных преобразований эту систему можно записать в виде

Система уравнений ( 2.11 ), ( 2.12 ) называется системой нормальных уравнений для коэффициентов регрессии.

Это система двух линейных уравнений с двумя неизвестными и она легко может быть решена, например, методом подстановки.

Из первого уравнения системы находим:

где , — выборочные средние наблюдений.

Подставив выражение для a во второе уравнение системы, получим

,

,

Таким образом, мы получили следующие соотношения для оценок параметров модели

,

Однако, в теоретических исследованиях и практических расчетах чаще используют другую, более удобную эквивалентную форму записи уравнений для оценок. Эта форма получается, если использовать следующие соотношения

Эти соотношения позволяют получить новую форму записи выражения для b (в отклонениях от выборочных средних значений)

которая вместе с выражением для a

которое означает, что определитель системы нормальных уравнений отличен от нуля. Действительно, этот определитель равен

Выражение для коэффициента b часто записывают также, используя понятия выборочной вариации (дисперсии) и выборочной ковариации.

Выборочная вариация определяется соотношением вида

и выборочная ковариация следующим соотношением

Используя введенные понятия, формулу ( 2.13 ) для коэффициента b можно записать в виде

Замечание относительно выборочных дисперсии и ковариации.

Напомним, что выборочная дисперсия характеризует степень разброса случайной величины относительно ее выборочного среднего значения. Выборочная ковариация характеризует степень линейной статистической взаимосвязи двух случайных величин. При определенных условиях, которые будут рассмотрены позже, выражения ( 2.16 ) и ( 2.17 ) являются несмещенными эмпирическими оценками теоретических дисперсии и ковариации.

Замечание относительно полученных оценок.

Если независимая переменная не случайная (детерминированная) величина, то ее дисперсия равна нулю, а ковариация детерминированной и случайной величин равна нулю. В этом случае выборочные дисперсия (вариация) x и выборочная ковариация величин x и y теряют смысл оценок соответствующих теоретических значений дисперсии и ковариации и должны рассматриваться только как некоторые характеристики наблюдаемых переменных, не связанные с их статистическими свойствами.

И, наконец, подчеркнем еще раз, что уравнения для оценок получены без каких либо предположений относительно характеристик случайных составляющих модели.

Интерпретация оценок параметров

Определим оценку зависимой переменной y уравнением

Уравнение ( 2.19 ) определяет эмпирическую регрессионную функцию, оценка называется прогнозом объясняемой переменной. Эта функция определяет прямую на плоскости . Эмпирический коэффициент b является частной производной ( 2.19 ) по независимой переменной x (регрессору). Следовательно можно дать следующую интерпретацию коэффициента b: изменение величины независимой переменной x на единицу при фиксированном значении параметра a приведет к изменению оценки переменной y на величину коэффициента b.

Таблица 1.1

Из диаграммы рассеяния, построенной по этим данным (рис. 2.4a ), можно предположить существование линейной зависимости между переменными y и x.

Рис. 2.4а. Диаграмма рассеяния примера 2.1

Рис. 2.4б. Линия регрессии (пример 2.1)

Оценки параметров парной линейной регрессии, вычисленные по формулам ( 2.13 ), ( 2.14 ) равны: a=4,02; b=1,29. Уравнение регрессии имеет вид

Торговое предприятие имеет несколько филиалов. Исследуем зависимость годового товарооборота отдельного филиала от: а) размера торговой площади; б) среднедневной интенсивности потока покупателей. Поскольку мы пока не умеем строить модели множественной регрессии, построим две «частные» модели парной регрессии.

Таблица 1.2

Для второй регрессии получаем следующие оценки: a=-2,0394, b=0,6846. Ее уравнение

Дайте интерпретацию параметров регрессий примера 2.2.

Рис.2.5а. Диаграмма рассеяния и линия
регрессии (первая модель, пример 2.2)

Рис.2.5б. Диаграмма рассеяния и линия
регрессии (вторая модель, пример 2.2)

Источник

Согласно методу наименьших квадратов в качестве оценок параметров следует использовать

3.2. Проблема оценивания параметров модели. Многомерный метод наименьших квадратов

Критерий наименьших квадратов

и соответственно, квадрат ошибки равен

Используя выражение ( 3.9 ), запишем критерий (целевую функцию) наименьших квадратов в многомерном случае

или, используя векторно-матричные обозначения, запишем

где вектор , вектор , .

Вывод системы нормальных уравнений

Для вывода системы нормальных уравнений, преобразуем выражение ( 3.10 ) критерия с использованием правил действий с векторами и матрицами (см. приложение ). Получим

Функция S(b) вида ( 3.11 ) представляет собой квадратичную форму относительно вектора оценок b. Ее минимум по параметрам b существует и определяется единственным образом из условия равенства нулю частных производных функции S(b) по переменным b_i, i=1,2,…,k.

Утверждение, что минимум функции S(b) существует и определяется единственным образом верно, если выполнены условия идентифицируемости модели линейной регрессии, то есть выполнены предпосылки 7-9.

Используя правила дифференцирования скалярной функции по векторному аргументу, получим выражение для производной критерия наименьших квадратов

Минимум целевой функции достигается в точке b, удовлетворяющей следующей системе линейных уравнений, записанной в векторно-матричной форме

которую можно переписать в виде

Система ( 3.13 ) называется системой нормальных уравнений и содержит k линейных уравнений относительно k неизвестных b_i, i=1,2,…,k. В развернутом виде данную систему можно представить так

Перемножая матрицы и векторы в выражении ( 3.14 ), получим развернутую форму записи системы нормальных уравнений

где для простоты записи опущены пределы суммирования по индексу i = 1,2,…,n.

Решение системы нормальных уравнений в векторно-матричной форме

Формула ( 3.15 ) определяет оценку по методу наименьших квадратов коэффициентов многомерной линейной регрессии.

Вектор b, определяемый выражением ( 3.15 ) доставляет минимум функции S(b) вида ( 3.10 ). Действительно, вычисляя вторые производные по вектору b функции S(b), получим . Матрица X T X является симметричной невырожденной (при выполнении предпосылки 8) и, в силу этого, положительно определенной, что является достаточным условием минимума функции S(b).

Оцененную с помощью метода наименьших квадратов эмпирическую линейную регрессионную функцию можно записать в виде

Свойства ошибок (остатков) модели

Выражение ( 3.16 ) для эмпирической регрессионной функции можно записать в виде

Вектор остатков (ошибок) модели

Таким образом, мы показали ( первое свойство ошибок), что ошибки модели в каждом наблюдении при оптимальных МНК оценках параметров, ортогональны наблюдениям независимых переменных.

Далее, вспоминая, что первый столбец матрицы наблюдений X состоит из единиц и, следовательно, первая строка матрицы X T также состоит из единиц, получаем второе свойство ошибок

то есть сумма ошибок регрессионной модели при условии, что ее коэффициенты оценены по методу наименьших квадратов, равна нулю.

Данные свойства ошибок многомерной регрессии являются обобщением соответствующих свойств ошибок парной линейной регрессии (см. п. 2.3.2. ).

Числовые примеры регрессий

Пример 3.1. (Л.О. Бабешко, 2001).

В таблице 3.1. приведены данные о годовых доходностях акций компаний A, B и C, принадлежащих одной отрасли (заметим, что эти данные представляют собой временные ряды доходностей).

Таблица 3.1

Исследуем зависимость доходности акций компании A (переменная y) от доходностей акций компаний B (переменная x₂ ) и C (переменная x₃ ) (напомним, что согласно принятому соглашению, переменная x₁ во всех наблюдениях равна единице).

Рис. 3.1а. Зависимость

Рис.3.1б. Зависимость

По виду этих диаграмм можно предположить существование линейной зависимости переменной y от переменных x₂ и x₃. Таким образом, есть основания определить спецификацию модели в виде

Торговое предприятие имеет несколько филиалов. Руководство предприятия изучает вопрос об открытии еще одного филиала. Для принятия обоснованного решения необходимо знать, как годовой товарооборот отдельного филиала (y_i млн. руб.) зависит от торговой площади (x_i2 тыс. кв. метров) и среднедневной интенсивности покупателей (x_i3 тыс. человек в день). В таблице 3.2. приведены числовые значения этих переменных для двенадцати филиалов (данные примера 2.2.).

Таблица 3.2

Источник