Нелинейная регрессия
Автор: Пользователь скрыл имя, 16 Декабря 2014 в 06:05, лекция
Краткое описание
4.1. Нелинейные связи между экономическими переменны-
ми.
4.2. Многочлены (полиномы), относительно независимой
переменной x.
4.3. Построение нелинейной парной регрессии MS EXCEL.
4.4. Задание к лабораторной работе №2 «Парная нелинейная
регрессия».
Файлы: 1 файл
57
Тема 4. Нелинейная регрессия
4.1. Нелинейные связи между экономическими переменны-
ми.
4.2. Многочлены (полиномы), относительно независимой
переменной x.
4.3. Построение нелинейной парной регрессии MS EXCEL.
4.4. Задание к лабораторной работе №2 «Парная нелинейная
регрессия».
4.1. Нелинейные связи между экономическими перемен-
ными
Установка вида связей между экономическими переменными
— это довольно непростая задача. До сих пор мы рассматривали
линейные регрессионные модели, в которых переменные имели
первую степень (модели, линейные по переменным), а параметры
выступали в виде коэффициентов при этих переменных (модели,
линейные по параметрам). Однако соотношение между социально-
экономическими явлениями и процессами далеко не всегда мож-
но выразить линейными функциями, так как при этом могут возни-
кать неоправданно большие ошибки.
Так, например, нелинейными оказываются производствен-
ные функции (зависимости между объемом произведенной продук-
ции и основными факторами производства — трудом, капиталом и
т.п.), функции спроса (зависимость между спросом на товары или
услуги и их ценами или доходом) и др.
Для оценки параметров нелинейных моделей используются
два подхода.
Первый подход основан на линеаризации модели и заключа-
ется в том, что с помощью подходящих преобразований исходных
переменных исследуемую зависимость представляют в виде ли-
нейного соотношения между преобразованными переменными.
Второй подход обычно применяется в случае, когда подоб-
рать соответствующее линеаризующее преобразование не удается.
В этом случае применяются методы нелинейной оптимизации на
основе исходных переменных.
58
Для линеаризации модели в рамках первого подхода могут
использоваться как модели, не линейные по переменным, так и не
линейные по параметрам.
Если модель нелинейна по переменным, то введением но-
вых переменных ее можно свести к линейной модели, для оценки
параметров которой использовать обычный метод наименьших
квадратов.
Так, например, если нам необходимо оценить параметры
регрессионной модели
i
i
i
i
x
x
y
ε
β
β
β
+
⋅
+
⋅
+
=
2
1
2
2
1
0
, i=1, …, n,
то, вводя новые переменные Z1=x1
2
, Z2 =
2x , получим линей-
ную модель
i
i
i
i
z
z
y
ε
β
β
β
+
⋅
+
⋅
+
=
2
1
2
1
0
, i=1, …, n,
параметры которой находятся обычным методом наименьших
квадратов.
Следует, однако, отметить и недостаток такой замены пере-
менных, связанный с тем, что вектор оценок b получается не из
условия минимизации суммы квадратов отклонений для исходных
переменных, а из условия минимизации суммы квадратов откло-
нений для преобразованных переменных, что не одно и то же. В
связи с этим необходимо определенное уточнение полученных
оценок.
Если между экономическими явлениями существуют нели-
нейные соотношения, то они выражаются с помощью соответст-
вующих нелинейных функций. В известном учебнике по эконо-
метрике [26] все нелинейные регрессии делятся на два класса:
1) регрессии, нелинейные по объясняющим переменным, но
линейные по оцениваемым параметрам:
полиномы разных степеней
ε
+
⋅
+
⋅
+
⋅
+
=
3
3
2
2
1
x
b
x
b
x
b
a
y
;
равносторонняя гипербола
ε
+
+
=
x
b
a
y
;
2) регрессии, нелинейные по оцениваемым параметрам:
степенная
ε⋅
⋅
=
b
x
a
y
;
показательная
ε⋅
⋅
=
x
b
a
y
;
59
экспоненциальная
ε⋅
=
+bx
a
e
y
.
Более сложной проблемой является нелинейность модели
по параметрам, так как непосредственное применение метода
наименьших квадратов для их оценивания невозможно. К числу
таких моделей можно отнести, например, мультипликативную
(степенную) модель.
Оценка параметров нелинейной регрессии по объясняющим
переменным (первого класса) проводится также методом наи-
меньших квадратов, так как эти функции линейны по параметрам.
Для любого полинома (многочлена) к-го порядка
ε
+
⋅
+
+
⋅
+
⋅
+
=
k
k
x
b
x
b
x
b
a
y
...
2
2
1
,
с помощью замены переменных x
1
= x, x
1
= x
2
, …, x
k
= x
k
полу-
чим линейную модель множественной регрессии
ε
+
⋅
+
+
⋅
+
⋅
+
=
k
k
x
b
x
b
x
b
a
y
...
2
2
1
1
.
Следовательно, полином любого порядка сводится к линей-
ной регрессии с её методами оценивания и проверки гипотез.
4.2. Многочлены (полиномы) относительно независимой
переменной x
Рассмотрим применение МНК для случая, когда теоретиче-
ская линия описывается многочленом второго порядка.
Применение МНК для оценки параметров второй степени
приводит к следующей системе нормальных уравнений:
⋅
+
⋅
+
⋅
=
⋅
⋅
+
⋅
+
⋅
=
⋅
⋅
+
⋅
+
⋅
=
∑
∑
∑
∑
∑
∑
∑
∑
∑
∑
∑
=
=
=
=
=
=
=
=
=
=
=
n
i
n
i
n
i
i
i
n
i
i
i
i
n
i
n
i
n
i
i
i
n
i
i
i
i
n
i
n
i
n
i
i
i
i
x
c
x
b
x
a
x
y
x
c
x
b
x
a
x
y
x
c
x
b
a
n
y
1
1
1
4
3
1
2
2
1
1
1
3
2
1
1
1
1
2
)
(
)
(
Решение её возможно методом исключения Гаусса, методом
Зейделя, методом простой итерации, методом нахождения обрат-
ной матрицы и многими другими. Остановимся на методе Краме-
ра и рассмотрим, как получается решение (коэффициенты регрес-
сии):
a = ∆a/∆; b = ∆b/∆; c = ∆c/∆;
60
где ∆ — определитель системы;
∆a, ∆b, ∆c — определители, полученные заменой соответ-
ствующего столбца на столбец свободных членов.
Ввиду симметричности кривой многочлен второй степени
не всегда пригоден в конкретных исследованиях. Чаще всего ис-
следователь имеет дело с отдельными сегментами, а не с полной
параболической формой. В качестве примера рассмотрим данные
таблицы 1.
Пример 1. Пусть нас интересует построение регрессионной
зависимости между переменной x – количество внесённых мине-
ральных удобрений (центнеров на 1 га) переменной y – урожайно-
стью некоторых злаковых с одного гектара.
Таблица 1
Внесе-
но ми-
нераль-
ных
удоб-
рений,
ц/га, х
Уро-
жай-
ность,
ц с 1
га,у
х
2
x
3
х
4
y⋅x
y⋅x
2
y
teor
(x)
1
6
1
1
1
6
6
6,171
2
9
6
8
16
18
36
8,516
3
10
9
27
81
30
90
10,63
6
12
16
66
256
68
192 11,91
5
13
25
125
625
65
325 12,97
Итого 15
50
55
225
979
167
669
По данным таблицы 3 система нормальных уравнений будет
иметь вид:
50 = 5⋅a + 15⋅b + 55⋅c;
167 = 15⋅a + 55⋅b + 225 ⋅c;
669 = 55⋅a + 225⋅b + 979⋅c.
Решая её методом Крамера, получим ∆=700, ∆a=2380, ∆b =
2090, ∆c=-150. Отсюда a=3,6; b=2,986; c=-0,216, а уравнение мно-
гочлена второй степени примет вид
y
teor
(x) = 3,6 + 2,986⋅x - 0,216⋅x
2
.
61
Среди класса нелинейных функций следует назвать хорошо
известную в эконометрике равностороннюю гиперболу
ε
+
+
=
x
b
a
y
.
Она может быть использована не только для характеристи-
ки связи удельных расходов сырья, материалов, топлива с объё-
мом выпускаемой продукции, времени обращения товаров от ве-
личины товарооборота, т.е. на микроуровне, но и на макроуровне.
Классическим её примером является кривая Филлипса, характери-
зующая нелинейное соотношение между нормой безработицы х и
процентом прироста заработной платы у.
Английский экономист А.В. Филлипс, анализируя данные
более чем за 100-летний период, в конце 50-х гг. ХХ в. установил
обратную зависимость процента прироста зарплаты от уровня
безработицы: y = a + b/x +ε.
С помощью замены z = 1/x, для равносторонней гиперболы
получим линейное уравнение регрессии y = a+b*z + ε, для оценки
параметров которого применим МНК и получим следующую сис-
тему нормальных уравнений:
⋅
+
⋅
=
⋅
+
⋅
=
∑
∑
∑
∑
∑
=
=
=
=
=
n
i
n
i
n
i
i
i
i
i
n
i
n
i
i
i
x
b
x
a
x
y
x
b
a
n
y
1
1
1
2
1
1
.
1
1
,
1
При b>0 имеем обратную зависимость, которая при x→∞
характеризуется нижней асимптотой. Так, для кривой Филлипса
y(x) = 0,00679 + 0,1862/x величина параметра a = 0,0679, означает,
что с ростом уровня безработицы темп прироста зарплаты в пре-
деле стремится к 0.
При b<0 имеем медленно повышающуюся функцию с верх-
ней асимптотой а при x→∞. Примером может служить взаимо-
связь доли расходов на товары длительного пользования и общих
сумм расходов (или доходов). В 1857 г. немецкий статистик Э. Эн-
гель на основе исследования семейных расходов сформулировал
закономерность – с ростом дохода (х) доля доходов, расходуемых
на продовольствие, уменьшается. Соответственно, доля расходов,
расходуемых на непродовольственные товары (у), увеличивается
до а: y = a – b/x.
62
В 1963 г. Уоркинг и в 1966 г. С. Лизер для описания кривой
Энгеля использовали полулогарифмическую кривую y = a + b⋅ln(x)
+ε. С помощью замены z = ln(x), получим линейное уравнение
регрессии y = a+b⋅z + ε, для оценки параметров которого приме-
ним МНК и получим следующую систему нормальных уравнений:
⋅
+
⋅
=
⋅
⋅
+
⋅
=
∑
∑
∑
∑
∑
=
=
=
=
=
n
i
n
i
n
i
i
i
i
i
n
i
n
i
i
i
x
b
x
a
x
y
x
b
a
n
y
1
1
1
2
1
1
.
))
(ln(
)
ln(
)
ln(
),
ln(
Возможны и иные модели, нелинейные по объясняющим
переменным, например, y = a + b*√x + ε. Соответственно, система
нормальных уравнений будет иметь вид:
⋅
+
⋅
=
⋅
⋅
+
⋅
=
∑
∑
∑
∑
∑
=
=
=
=
=
n
i
n
i
n
i
i
i
i
i
n
i
n
i
i
i
x
b
x
a
x
y
x
b
a
n
y
1
1
1
1
1
.
),
Такие регрессионные уравнения с квадратными корнями
использовались в исследованиях урожайности, трудоёмкости с/х
производства [10].
Рассмотрим теперь модели нелинейные по оцениваемым
параметрам. Эти модели подразделяются на два типа: нелинейные
модели внутренне линейные и нелинейные модели внутренне не-
линейные. Если нелинейная модель внутренне линейна, то она с
помощью соответствующих преобразований может быть приведе-
на к линейному виду. Если нелинейная модель внутренне линей-
на, то она не может быть сведена к линейной функции. Например,
в эконометрических исследованиях при изучении эластичности
спроса от цены широко используется степенная функция:
D(p) = a⋅P
b
⋅ε,
где D — спрашиваемое количество; P — цена; ε — случайная
ошибка.
Эту модель можно считать внутренне линейной, так как ло-
гарифмирование данного уравнения по основанию е (е =
2,718281…) приводит его к линейному виду:
ln(y) = ln(a) + b⋅ln(x) + ln(ε).
63
А к последнему выражению можно применить МНК. Сле-
дующая модель y = a⋅x
b
+ε — внутренне нелинейна., так как её не-
возможно превратить в линейный вид. Модель y = a + b⋅x
c
+ε —
тоже внутренне нелинейна. Для оценки параметров внутренне не-
линейных моделей используют итеративные процедуры.
4.3. Построение парной нелинейной регрессии в MS
EXCEL
Рассмотрим теперь, как в MS EXCEL можно быстро по-
строить модели парных нелинейных регрессий. Покажем это на
данных примера 1.
Шаг 1. Сначала построим диаграмму (например, точечную
или график) зависимости между Y и X.
Урожайность, ц с 1 га,у
0
2
4
6
8
10
12
14
0
1
2
3
4
5
6
Внесено минеральных удобрений
Рис. 4.1. Построение диаграммы (точечной) зависимости
между Y и X
Шаг 2. Устанавливаем точку мыши на одну из помеченных
точек диаграммы, чтобы все точки зажглись жёлтым цветом. И
тут же нажимаем на правую кнопку мыши. Возникнет окно диало-
га, в котором четвёртой строкой является фраза «Добавить линию
тренда» (см. рис.4.2.). Левой кнопкой мыши выбираем эту четвёр-
тую строку.
64
Рис. 4.2. Окно диалога при построении разных видов рег-
рессии
Шаг 3. В появившемся окне диалога выберите тип зависи-
мости между Y и X, например, логарифмический (см. рис. 4.3).
65
Рис. 4.3. Выбор нужной зависимости
Шаг 6. Выбираем закладку «Параметры» и устанавливаем
левой кнопкой мыши флажки «Показывать уравнение на диа-
грамме», а также «Поместить на диаграмму величину достоверно-
сти аппроксимации (R^2)» (см. рис. 4.4).
66
Рис. 4.4. Установление флажков на закладке «Параметры»
Шаг 5. Нажмите «ОК». Получите диаграмму выбранной за-
висимости, изображённой на рисунке 4.5.
67
Рис. 4.5. Построение логарифмической зависимости между
факторами Y и X
Замечание 1. Для аппроксимации исходных данных другой
зависимостью между Y и X, начните с шага 1. Не забудьте после
построения очередной зависимости перетащить полученную диа-
грамму на другое место, потому что MS EXCEL будет помещать
диаграммы на одно и то же место на листе EXCELа.
4.4. Задание к лабораторной работе №2 «Парная нели-
нейная регрессия»
Задание. Построить нелинейную модель связи между ука-
занными факторами. Исходные данные находятся в таблицах 1 - 2
лабораторной работы №1. Номера вариантов — в таблицах 3. Для
выбора индивидуального варианта используйте последние две
цифры зачётки. Например, если последние цифры 1 и 9, то в таб-
лице 1 и 2 надо выбрать 6-ю и 9-ю строки соответственно.
Методические указания к решению задачи.
1. Вначале расположите исходные данные по факторам X и
Y в столбцы. По этим исходным данным постройте диаграмму в
MS EXCEL и сделайте предварительное заключение о наличии
связи между факторами X и Y, а также о её виде (логарифмиче-
68
ская, обратная или другая) и форме (линейная или нелинейная) на
основании графика.
2. Полагая, что связь между факторами X и Y может быть
описана нелинейной функцией, запишите соответствующее урав-
нение этой зависимости. Используя процедуру метода наимень-
ших квадратов, получите систему нормальных уравнений относи-
тельно коэффициентов линейного уравнения регрессии. Любым
способом решите ее. Проверьте полученные оценки a* и b* двумя
описанными выше способами в MS EXCEL.
3. Выполните точечный прогноз на прогнозное значение пе-
ременной x по полученной модели. Выберите прогнозную точку
х
п
в стороне от основного массива данных. Используя уравнение
регрессии, выполните точечный прогноз величины Y в точке х
п
.
6. Для полученной модели связи между факторами X и Y
рассчитайте коэффициент детерминации R
2
. Сделайте предвари-
тельное заключение о приемлемости полученной модели.
5. Постройте логарифмическую, полиномиальную, степен-
ную и экспоненциальную зависимости. Выберите лучшую зави-
симость из критерия близости коэффициента детерминации R
2
к
единице. Запишите на листе EXCELа отчёт по лабораторной ра-
боте.
Информация о работе Нелинейная регрессия