Классическая регрессионная модель

Федеральное государственное бюджетное  образовательное учреждение высшего  профессионального образования

 

«.»

                                                                      

 

 

кафедра

 

 

 

 

 

 

 

Курсовая работа

 

по дисциплине «ЭКОНОМЕТРИКА»

на тему «Классическая регрессионная модель»

 

 

 

 

 

 

 

Выполнила:

студент группы

 

Зач.

Проверила:

.

                        

 

 

 

 

 

 

2013

 

Оглавление

 

Введение

В естественных науках обычно имеют  дело с функциональной зависимостью между двумя переменными вида 

y = f (x) ,

где f – непрерывная или дискретная функция.

В эконометрических исследованиях  чаще имеют дело с ситуацией, когда  каждому значению переменной x соответствует (условное) распределение вероятностей переменой y. Такая зависимость называется стохастической или вероятностной. Эта зависимость неоднозначна,  так как каждому значению x соответствует множество значений переменой y, распределенной по некоторому закону. Закон распределения,  а точнее его параметры, зависят от значений переменной x.  Поэтому в эконометрических исследованиях актуальной является задача поиска закономерностей изменения параметров закона распределения y в зависимости от x. Важнейшим параметром такого типа является условное математическое ожидание M (y | x) . 

Зависимость между значениями одной  из переменных и условным математическим ожиданием другой называется корреляционной зависимостью 

M (y | x) = f (x).

В общем случае распределение y может  зависеть от x_1, x ₂, ...,  x_m. В этом случае корреляционная зависимость имеет вид

M (y | x₁, x₂, ..., x _m) = f (x₁, x₂, ..., x _m).

Зависимую переменую y называют выходной переменной, функцией отклика, результативным признаком и т. д., независимую  переменную называют также входной  переменной, фактором, регрессором и т. д. Уравнения связи функции отклика и факторов называют уравнением регрессии,  функцию f  – функцией регрессии,  а ее

график –  линией регрессии.  В случае единственной входной переменной регрессию называют парной,  в  общем случае –  множественной. 

В уравнения связи кроме входных  переменных входят некоторые постоянные коэффициенты.  По условию вхождения  переменных и постоянных коэффициентов (параметров) в уравнение регрессии  различают регрессию, линейную по переменным и (или) по параметрам и нелинейную по переменным и (или)  по параметрам. В зависимости от этого уравнение регрессии может быть линейнымили нелинейным по переменным и (или) по параметрам. 

При исследовании экономических закономерностей  законы распределения значений функции отклика неизвестны.  Поэтому для приближенной оценки  (аппроксимации) истинной функции регрес сии используется выборочный метод.

Оценкой функции регрессии является выборочное уравнение регрессии

 

ŷ = f( Х,А ) ,

где Х – вектор входных переменных; А – вектор параметров.

При правильном определении вида функции f   и параметров А функция f будет сходиться по вероятности к истинной функции  регрессии.

1. Линейная парная регрессия

 

Линейная парная регрессия является одной из наиболее распространенных эконометрических моделей. Типичная постановка задачи имеет следующий вид.

Найдены n пар выборочных значений (x_i, y _i),  i =1,  2, ..., n  двух величин (x, y) .  Предполагается,  что между ними имеется линейная зависимость, описываемая уравнением регрессии вида 

y = α₀+ α₁ x + ε,

где ε – случайная составляющая, учитывающая случайные и неучтенные факторы.

Таким образом, каждое наблюдение может  быть представлено в форме

y_i = α ₀+ α ₁ x _i+ ε _i.

Линейная регрессионная модель называется классической,  если она удовлетворяет следующим требованиям.

Входная переменная x – величина неслучайная, а возмущение ε_i есть случайная величина.

Математическое ожидание возмущения ε_i равно нулю:

M (ε_i) = 0, i=1, 2, ...,n.

Дисперсия возмущения ε_i постоянна для любого i:

D(ε _i) = σ²

Это условие называют также условием гомоскедастичности. 

4. Возмущения ε_i и ε _j не коррелированны:

M (ε _i ε _j) = 0, i ≠ j

Добавим еще одно, пятое требование.

5. Возмущение ε_i распределено по нормальному закону. 

Тогда регрессионную модель называют классической нормальной линейной регрессионной  моделью. 

В дальнейшем, если это специально не оговорено, предполагается, что условия 1–5 выполнены. 

Таким образом,  задача регрессионного анализа заключается в определении несмещенных,  состоятельных,  эффективных оценок коэффициентов α ₀ ,α ₁,  то есть в установлении выборочной линейной зависимости

ŷ =a₀ +a₁ x.

1.1. Метод наименьших квадратов

Эффективную оценку коэффициентов  обеспечивает метод наименьших квадратов. Суть его состоит в следующем. Сумма квадратов отклонений выборочных y _i и аппроксимирующих

ŷ i значений выходной величины

n                             n

Q = ∑( ŷi - yi)2 = ∑ (a0+aixi-yi)2

i=1                         i=1

 

пропорциональна среднеквадратичной ошибке аппроксимации. Выбирая коэффициенты α₀, α₁ из условия минимума этой ошибки

 

∂ Q	=0,	∂ Q	= 0,
∂ a0		∂ a1

 

 

получаем линейную аппроксимацию  с минимальной дисперсией.

Условия минимума имеют вид

или после очевидных преобразований

Разделив оба уравнения на n, окончательно получаем 

где параметры с чертой – соответствующие  средние. 

Решение системы линейных относительно α₀, α₁ уравнений имеет вид

Коэффициент α₁ называют выборочным коэффициентом регрессии. 

Тесноту линейной связи ранее мы характеризовали с помощью коэффициента корреляции. Поэтому между коэффициентом регрес сии α₁ и коэффициентом корреляции r должна существовать линейная зависимость. Действительно:

Таким образом:

Поэтому уравнение регрессии можно  записать в виде

Иногда удобно записывать уравнение  регрессии в отклонениях от соответствующих средних

или в нормированных отклонениях

1.2. Оценка точности аппроксимации

Уравнение регрессии описывает  усредненную зависимость выходной переменной от входной.  Воздействие  неучтенных,  случайных факторов и ошибок наблюдений определяется остаточной дисперсией σ² .  Несмещенной оценкой σ² служит выборочная остаточная дисперсия

Число степеней свободы здесь равно  двум,  так как выражение для  ŷ содержит два параметра α₀ и α₁ , найденные по той же выборке.

Определим доверительный интервал  (точнее,  доверительную полосу)  для функции регрессии.  Вначале определим дисперсию ŷ как функцию х

так как  – величина неслучайная.

Дисперсия среднего 

 

а ее выборочное значение равно  .   Определим дисперсию D(α₁) Можно показать, что

Выборочное значение D(α₁) таким образом, равно 

В результате

то есть выборочная дисперсия  есть квадратичная функция х.

Можно показать, что статистика 

имеет t-распределение Стьюдента с n–2 степенями свободы, а доверительный интервал

M _x (y) для доверительной вероятности 1–р

имеет вид 

Минимальный по ширине доверительный  интервал соответству-

ет  и равен

Доверительная полоса для M_x (y) показана на рис.1. Доверительный интервал для индивидуальных значений выходной переменной y несколько шире за счет остаточной дисперсии s² и определяется по выборочной дисперсии

Рис.1. Доверительная полоса линии регрессии

При необходимости можно построить  доверительный интервал для коэффициента регрессии α₁, используя выборочный коэффициент a₁ и распределение Стьюдента для статистики:

Наконец,  при построении доверительного интервала истинной остаточной дисперсии σ² используют статистику    которая имеет распределение  χ² Пирсона с n − 2 степенями свободы.  На уровне значимости р доверительный интервал для  σ² имеет вид

1.3. Оценка значимости уравнения  регрессии

Как следует из предыдущего изложения,  изменение выходной переменной у определяется двумя факторами:  функциональной  (в данном случае линейной)  зависимостью выходной переменной от входной и неучтенными случайными факторами и ошибками на блюдения. Правомерно поставить вопрос, насколько значима зависимость,  выраженная уравнением регрессии на фоне случайных ошибок. Ответ на этот вопрос дает сравнение выборочных дисперсий.

Изменчивость выходной переменной у характеризуется суммой квадратов отклонений

или соответствующей дисперсией

Изменение выходной переменной согласно уравнению регрессии можно оценить суммой квадратов отклонений 

или дисперсией

где m – число параметров в выражении для . Наконец, остаточная сумма квадратов и соответствующая дисперсия были определены ранее 

Можно показать, что

Q =Q_R + Q_e

 

Для выборочных дисперсий аналогичное  равенство в общем случае не имеет места. Интуитивно ясно, что если изменчивость, описываемая уравнением регрессии, соизмерима с ошибками наблюдения и,  следовательно,  выявленная зависимость незначима.

Для оценки значимости используют статистику

которая имеет F-распределение Фишера с f₁= m–1 и f₂= n–m степенями свободы.  Нулевая гипотеза Н₀ утверждает,  что F=1.  В этом случае, задавая уровень значимости р и определяя для него квантиль F_1–p (f₁, f₂), приходим к неравенству

которое должно выполняться с  вероятностью 1–р. 

 

Если ,  то гипотеза о незначимости уравнения регрессии отвергается и регрессия признается значимой. При этом вероятность ошибки составляет величину р. 

Значимость уравнения регрессии можно проверить другим способом. Уравнение регрессии незначимо, то есть выходная переменная у не зависит от входной x ,  если α₁= 0, а линия регрессии параллельна оси x . Принимая этот факт за нулевую гипотезу, можно утверждать, что статистика

имеет t-распределение Стьюдента  с n–2 степенями свободы.  Если фактическое значение t при заданном уровне значимости р по модулю больше табличного t_{1− p}:

то гипотеза α ₁= 0 отвергается и уравнение регрессии признается значимым.  Оба способа проверки значимости по F- и t-критерию равносильны. 

Одной из наиболее эффективных оценок адекватности регрессионной модели является коэффициент детерминации

Коэффициент детерминации показывает,  какая доля общей вариации выходной переменной у обусловлена зависимостью ее от входной переменной. 

Очевидно,  чем ближе R² к единице,  тем качественнее уравнение регрессии аппроксимирует эмпирическую зависимость.

Критерий значимости, основанный на коэффициенте детерминации, имеет вид

где по-прежнему

f₁=m −1, f₂= n − m.

Можно показать, что 

так что обе статистики дают одинаковые критерии значимости. Полезно отметить, что в случае парной регрессии  R² = r ², что удобно для вычислений.  Использование коэффициента детерминации,  пожалуй,  более наглядно.  В остальном обе статистики совершенно равноправны.

 

Задачи