Метод наименьших квадратов

 

СОДЕРЖАНИЕ

ВВЕДЕНИЕ………………………………………………………………………………….….3

1. Определение метода наименьших квадратов…………………………….…..….……4
2. Предпосылки метода наименьших квадратов……………………………………...….4
3. История…………………………………………………………………………….….…5
4. Суть метода наименьших квадратов (МНК)…………………………………….…….5
5. Вывод формул для нахождения коэффициентов……………………………….……..6
6. Примеры………………………………………………………………………….………6
7. Парная линейная регрессия. Метод наименьших квадратов………………….………9
8. Взвешенный метод наименьших квадратов

СПИСОК  ИСПОЛЬЗОВАННОЙ ЛИТЕРАТУРЫ. 
 
 
 
 
 
 
 
 
 
 
 
 

                                                             ВВЕДЕНИЕ 
 
               Метод наименьших квадратов обычно используется как составная часть некоторой более общей проблемы. Например, при необходимости проведения аппроксимации наиболее часто употребляется именно метод наименьших квадратов. На этом подходе основаны: регрессионный анализ в статистике, оценивание параметров в технике и т.д.

     Цель  данной контрольной работы – рассмотреть  метод наименьших квадратов. 
Исходя из поставленной цели, необходимо решить следующие задачи: 
• рассмотреть парную регрессию, метод наименьших квадратов; 
• исследовать взвешенный метод наименьших квадратов; 
• рассмотреть нелинейную регрессию. 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

1. Определение метода наименьших квадратов

     Метод наименьших квадратов — один из методов регрессионного анализа для оценки неизвестных величин по результатам измерений, содержащих случайные ошибки.

     Регрессионный (линейный) анализ — статистический метод исследования зависимости между зависимой переменной Y и одной или несколькими независимыми переменными X₁,X₂,...,X_p. Независимые переменные иначе называют регрессорами или предикторами, а зависимые переменные —критериальными. Терминолоия зависимых и независимых переменных отражает лишь математическую зависимость переменных, а не причинно-следственные отношения.

     Метод наименьших квадратов применяется  также для приближённого представления заданной функции другими (более простыми) функциями и часто оказывается полезным при обработке наблюдений.

     Когда искомая величина может быть измерена непосредственно, как, например, длина  отрезка или угол, то, для увеличения точности, измерение производится много  раз, и за окончательный результат  берут арифметическое среднее из всех отдельных измерений. Это правило арифметической середины основывается на соображениях теории вероятностей; легко показать, что сумма квадратов уклонений отдельных измерений от арифметической середины будет меньше, чем сумма квадратов уклонений отдельных измерений от какой бы то ни было другой величины. Само правило арифметической середины представляет, следовательно, простейший случай метода наименьших квадратов. 

2. Предпосылки метода наименьших квадратов.

 
 

     При оценке параметров уравнения регрессии  применяется МНК. При этом делаются определенные предпосылки относительно составляющей  , которая представляет собой в уравнении ненаблюдаемую величину.

     Исследования  остатков   предполагают проверку наличия следующих пяти предпосылок МНК:

1) случайный  характер остатков. С этой целью  строится график отклонения остатков  от теоретических значений признака. Если на графике получена горизонтальная полоса, то остатки представляют собой случайные величины и применение МНК оправдано. В других случаях необходимо применить либо другую функцию, либо вводить дополнительную информацию и заново строить уравнение регрессии до тех пор, пока остатки не будут случайными величинами.

2. нулевая средняя величина остатков, т.е. , не зависящая от хi. Это выполнимо для линейных моделей и моделей, нелинейных относительно включаемых переменных. С этой целью наряду с изложенным графиком зависимости остатков от теоретических значений  результативного признака ух строится график зависимости случайных остатков от факторов, включенных в регрессию хi . Если остатки на графике расположены в виде горизонтальной полосы, то они независимы от значений xj. Если же график показывает наличие зависимости и хj то модель неадекватна. Причины неадекватности могут быть разные.

3. Гомоскедастичность  — дисперсия каждого отклонения  одинакова для всех значений хj. Если это условие применения МНК не соблюдается, то имеет место гетероскедастичность. Наличие гетероскедастичности можно наглядно видеть из поля корреляции.

4. Отсутствие  автокорреляции остатков. Значения  остатков  распределены независимо друг от друга. Автокорреляция остатков означает наличие корреляции между остатками текущих и предыдущих (последующих) наблюдений. Отсутствие автокорреляции остаточных величин обеспечива­ет состоятельность и эффективность оценок коэффициентов ре­грессии.

5. Остатки  подчиняются нормальному распределению.

В тех  случаях, когда все пять предпосылок  выполняются, оценки, полученные по МНК  и методу максимального правдоподобия, совпадают между собой.

Если  распределение случайных остатков не соответствует некоторым предпосылкам МНК, то следует корректировать модель, изменить ее спецификацию, добавить (исключить) некоторые факторы, преобразовать исходные данные, что в конечном итоге позволяет получить оценки коэффициентов регрессии aj, которые обладают свойством несмещаемости, имеют меньшее значение дисперсии остатков, и в связи с этим более эффективную статистическую проверку значимости параметров регрессии. 

3. История.

     До  начала XIX в. учёные не имели определённых правил для решения системы уравнений, в которой число неизвестных меньше, чем число уравнений; до этого времени употреблялись частные приёмы, зависевшие от вида уравнений и от остроумия вычислителей, и потому разные вычислители, исходя из тех же данных наблюдений, приходили к различным выводам. Лежандру (1805—06) иГауссу (1794—95) принадлежит первое применение к решению указанной системы уравнений теории вероятностей, исходя из начал, аналогичных с началом арифметической середины, уже издавна и, так сказать, бессознательно применяемых к выводам результатов в простейшем случае многократных измерений. Как и в случае арифметической середины, вновь изобретённый способ не даёт, конечно, истинных значений искомых, но зато даёт наиболее вероятные значения. Этот способ распространён и усовершенствован дальнейшими изысканиями Лапласа, Энке, Бесселя, Ганзена и др. и получил название метода наименьших квадратов, потому что после подстановки в начальные уравнения неизвестных величин, выведенных этим способом, в правых частях уравнений получаются если и не нули, то небольшие величины, сумма квадратов которых оказывается меньшей, чем сумма квадратов подобных же остатков после подстановки каких бы то ни было других значений неизвестных. Помимо этого, решение уравнений по способу наименьших квадратов даёт возможность выводить вероятные ошибки неизвестных, то есть величины, по которым судят о степени точности выводов

4. Суть метода наименьших квадратов (МНК).

       Задача заключается в нахождении  коэффициентов линейной зависимости,  при которых функция двух переменных а и b  принимает наименьшее значение. То есть, при данных а и b сумма квадратов отклонений экспериментальных данных от найденной прямой будет наименьшей. В этом вся суть метода наименьших квадратов.

       Таким образом, решение примера  сводится к нахождению экстремума  функции двух переменных.

5. Вывод формул для нахождения коэффициентов.

 Составляется  и решается система из двух  уравнений с двумя неизвестными. Находим частные производные функции  F(a,b)= (y_i-(ax_i+b))²по переменным а и b, приравниваем эти производные к нулю. 

       Решаем полученную систему уравнений  любым методом (например методом  подстановки или методом Крамера) и получаем формулы для нахождения коэффициентов по методу наименьших квадратов (МНК).

     При данных  а  и  b  функция  принимает наименьшее значение. Доказательство этого факта приведено ниже по тексту в конце страницы.

     Вот и весь метод наименьших квадратов. Формула для нахождения параметра a содержит суммы , , ,   и параметр n - количество экспериментальных данных.

6. Примеры

Пусть надо решить систему уравнений

число которых более числа неизвестных x, y, 

     Чтобы решить их по способу наименьших квадратов, составляют новую систему уравнений, число которых равно числу  неизвестных и которые затем  решаются по обыкновенным правилам алгебры. Эти новые, или так называемые нормальные уравнения составляются по следующему правилу: умножают сперва все данные уравнения на коэффициенты у первой неизвестной x и, сложив почленно, получают первое нормальное уравнение, умножают все данные уравнения на коэффициенты у второй неизвестной y и, сложив почленно, получают второе нормальное уравнение и т. д. Если обозначить для краткости:

то нормальные уравнения представятся в следующем  простом виде:

     Легко заметить, что коэффициенты нормальных уравнений весьма легко составляются из коэффициентов данных, и притом коэффициент у первой неизвестной во втором уравнении равен коэффициенту у второй неизвестной в первом, коэффициент у первой неизвестной в третьем уравнении равен коэффициенту у третьей неизвестной в первом и т. д. Для пояснения сказанного ниже приведено решение пяти уравнений с двумя неизвестными:

Составив  значения [aa], [ab], получаем следующие нормальные уравнения:

     Проще говоря перемножается матрица X и  транспонированная матрица Xт. Размерности этих матриц 3x6 и 6x3, соответственно в итоге получается матрица 3x3, которая и есть итоговое уравнение.

откуда

x = 3,55;

y = − 0,109

     При составлении обычной регрессионной  модели используется та же методика, и  данные коэффициенты представляют собой  коэффициенты уравнения регрессии.

     Уравнения (1) представляют систему линейных уравнений, то есть уравнений, в которых все  неизвестные входят в первой степени. В большинстве случаев уравнения, связывающие наблюдаемые и искомые  величины, бывают высших степеней и  даже трансцендентные, но это не изменяет сущности дела: предварительными изысканиями всегда можно найти величины искомых с таким приближением, что затем, разложив соответствующие функции в ряды и пренебрегая высшими степенями искомых поправок, можно привести любое уравнение к линейному.

(Пример  кривой, проведённой через точки,  имеющие нормально распределённое  отклонение от истинного значения).

     Строгое обоснование и установление границ содержательной применимости метода даны А. А. Марковым и А. Н. Колмогоровым.