Существует ряд специальных методов поиска оптимальных решений разными способами выбора узлов и сужения интервала неопределенности - метод деления отрезка пополам, метод золотого сечения и др. Рассмотрим один из них.

2.3 Метод золотого сечения.

       Метод золотого сечения состоит в построении последовательности отрезков [a₀, b₀], [a₁, b₁], …,стягивающихся к точке минимума функции f(x). На каждом шаге, за исключением первого, вычисление значения функции f(x) проводится лишь один раз. Эта точка, называемая золотым сечением, выбирается специальным образом.

     На  первом шаге процесса оптимизации внутри отрезка [a₀, b₀] выбираем две внутренние точки x₁ и x₂ и вычисляем значения целевой функции f(x₁) и f(x₂). Поскольку в данном случае f(x₁) < f(x₂), очевидно, что минимум расположен на одном из прилегающих к x₁ отрезков [a₀, x₁] или [x₁, x₂]. Поэтому отрезок [x₂, b₀] можно отбросить, сузив тем самым первоначальный интервал неопределенности.

     Второй  шаг проводим на отрезке [a_1, b₁], где a₁ = a₀, b₁ = x₂. Нужно снова выбрать две внутренние точки, но одна из них (x₁) осталась из предыдущего шага, поэтому достаточно выбрать лишь одну точку x₃, вычислить значение f(x₃) и провести сравнение. Поскольку здесь f(x₃) > f(x₁), ясно, что минимум находится на отрезке [x₃, b₁]. Обозначим этот отрезок [a₂, b₂], снова выберем одну внутреннюю точку и повторим процедуру сужения интервала неопределенности. Процесс оптимизации повторяется до тех пор, пока длина очередного отрезка [a_n, b_n] не станет меньше заданной величины ε.

     Теперь рассмотрим способ размещения внутренних точек на каждом от резке [a_k, b_k]. Пусть длина интервала неопределенности равна l, а точка деления делит его на части l₁, l₂: l₁ > l₂, l = l₁ + l₂. Золотое сечение интервала неопределенности выбирается так, чтобы отношение длины большего отрезк к длине всего интервала равнялось отношению длины меньшего отрезка к длине большего отрезка: (1)

       Из этого соотношения можно найти точку деления, определив отношение l₂/l₁. Преобразуем выражение (1), и найдем это значение:

             l =l₂l₁, l =l₂(l₁ + l₂),

     l +l₁l₂ - l =0,

      ² + - 1 =0,

      = .

 Поскольку нас интересует только положительное решение, то

          .

       Отсюда l₁ k₁l, l₂ k₂l.

     Поскольку заранее неизвестно, в какой последовательности делить интервал неопределенности, то рассматривают внутренние точки, соответствующие двум этим способам деления. Точки деления x₁ и x₂ выбираются с учетом полученных значений для частей отрезка. В данном случае имеем

           x₁ – a₀ = b₀ – x₂ = k₂d₀,

     b₀ - x₁ = x₂ – a₀ = k₁d₀,

     d₀ = b₀ – a₀.

После первого шага оптимизации получается новый интервал неопределенности – отрезок [a_1, b₁].

         Можно показать, что точка x₁ делит этот отрезок в требуемом отношении, при этом

          b₁ – x₁ = k₂d₁, d₁ = b₁ – a₁.

         Для этого проведем очевидные преобразования:

           b₁ – x₁ = x₂ – x₁ = (b₀ – a₀) – (x₁ – a₀) – (b₀ – x₂) = d₀ – k₂d₀ - k₂d₀ = k₃d₀,

     d₁ = x₂ – a₀ = k₁d₀,

     b₁ – x₁ = k₃(d₁/k₁) = k₂d₁.

         Вторая точка деления x₃ выбирается на таком же расстоянии от левой границы отрезка, т.е. x₃ – a₁ = k₂d₁.

     И снова интервал неопределенности уменьшается  до размера

d₂ = b₂ – a₂ = b₁ – x₃ = k₁d₁ = k d₀.

 Используя полученные соотношения, можно записать координаты точек деления y и z отрезка [a_k, b_k] на k +1 шаге оптимизации (y < z):

y = k₁a_k + k₂b_k,

     z = k₂a_k + k₁b_k.

При этом длина  интервала неопределенности равна

  d_k = b_k – a_k = k d₀. 

     Процесс оптимизации заканчивается при  выполнении условия d_k < ε. При этом проектный параметр оптимизации составляет a_k < x < b_k. Можно в качестве оптимального значения принять x = a_k (или x = b_k, или x = (a_k + b_k)/2 и т.п.).

2.4 Метод Ньютона.

       Как было отмечено в п. 2.1, задача одномерной оптимизации дифференцируемой функции сводится к нахождению критических точек этой функции, определяемых уравнением:                          (2.7)

     Когда уравнение (2.7) нельзя решить аналитически, для его решения можно применить численные методы, например метод Ньютона. В этом случае говорят о методе Ньютона решения задачи оптимизации.

     Пусть - решение уравнения (2.7), а некоторое начальное приближение к . Применим для решения (2.7) метод Ньютона решения уравнения , которое эквивалентно уравнению (2.7) при . Для этого в формулу для -го приближения метода Ньютона подставим вместо производную и получим тем самым формулу для  -го приближения к решению уравнения (2.7):

             (2.8)

для использования  этой формулы необходимо, чтобы  . В   качестве критерия окончания итерационного процесса можно применить условия близости двух последовательных приближений

или близости значений целевой функции на этих приближениях

.

  Достаточное условие сходимости метода Ньютона (2.8) можно получить. А именно, справедлива следующая теорема.

    Теорема. Пусть - корень уравнения (2.7), т.е. , а и непрерывна. Тогда существуют окрестность корня такая, что если начальное приближение принадлежит этой окрестности, то для метода Ньютона (2.8) последовательность значений   сходится к при .

    Заметим, что точка может являться как точкой минимума, так и точкой максимума, а может (при ) вообще не являться точкой экстремума. Если функция имеет как минимумы, так и максимум то она может сходиться и к точкам минимума, и к точкам максимума в зависимости от того, из окрестности какой критической точки взято начальное приближение. При этом, в отличие от других методов оптимизации, формула для поиска максимума функции совпадает с формулой для поиска минимума.

    Формулу метода Ньютона решения задачи оптимизации можно получить и из других соображений. Разложим функцию в ряд Тейлора в окрестности точки , ограничившись линейными и квадратичными членами относительно приращения :

(2.9)

    В качестве следующего приближения к оптимальному значению проектного параметра возьмем точку экстремума функции . Имеем

 что совпадает с (2.8). Разложение (2.9) в окрестности точки , на котором график функции заменяется параболой графиком функции .

    Относительно сходимости метода Ньютона решения задачи оптимизации можно сделать замечания. Метод Ньютона обладает более быстрой сходимостью по сравнению с методами, которые не используют дифференциальные свойства функции (например, с методом золотого сечения). Однако сходимость метода Ньютона не гарантирована, при неудачном выборе начального приближения он может расходиться.

         

 

3. Многомерные задачи  оптимизации

3.1 Минимум функции  нескольких переменных.

    В пункте 2 мы рассмотрели одномерные задачи оптимизации, в которых целевая функция зависит лишь от одного аргумента. Однако в большинстве реальных задач оптимизации, представляющих практический интерес, целевая функция зависит от многих проектных параметров.

    Минимум дифференцируемой функции многих переменных можно найти, исследуя ее значения в критических точках, которые определяются из решения системы дифференциальных уравнений

             (3.1)

   Рассмотренный метод можно использовать лишь для дифференцируемой целевой функции. Но и в этом случае могут возникнуть серьезные трудности при решении систем нелинейных уравнений (3.1).

   Во многих случаях никакой формулы для целевой функции нет, а имеется лишь возможность определения ее  значений в произвольных точках рассматриваемой области с помощью некоторого вычислительного алгоритма или физических измерений. Задача состоит в приближенном определении наименьшего значения функции во всей области при известных  ее значениях в отдельных точках.

   Для решения подобной задачи в области проектирования, в которой ищется минимум целевой функции , можно дискретное множество точек (узлов) путем разбиения параметров на части с шагам .

   В полученных узлах можно вычислить значения целевой функции и среди этих значений найти наименьшее.

   Такой метод аналогичен методу перебора для функции одной переменной. Однако в многомерных задачах оптимизации, где число  проектных параметров достигает пяти и более, этот метод потребовал бы слишком большого объема вычислений.

3.2 Метод покоординатного спуска.

    Пусть требуется найти наименьшее значение целевой функции . В качестве приближения выберем в мерном пространстве некоторую точку . Зафиксируем все координаты функции , кроме первой. Тогда фукция одной переменной . Первый шаг процесса оптимизации состоит в спуске по координате в направлении убывания функции от точки до некоторой точки . Если функция дифференцируемая, то значение может быть найдено

                             (3.2)

   Зафиксируем теперь все координаты кроме , и рассмотрим функцию при переменной . Снова осуществляем спуск теперь по координате , в сторону убывания функции от точки до точки . Значение можно найти

    Аналогично проводится спуск по координатам , а затем процедура снова повторяется от до . В результате этого процесса получается последовательность точек , в которых значения целевой функции составляют монотонно убывающую последовательность

   На любом k-том шаге этот процесс можно прервать. И значение функции в точке k принимается в качестве наименьшего значения целевой функции в рассматриваемой области.

   Метод покоординатного спуска сводит задачу о нахождении наименьшего значения функции многих переменных к многократному.

3.3 Метод градиентного спуска.

      В природе мы нередко наблюдаем явления, сходные с решением задачи на нахождение минимума. К ним относится, в частности, стекание воды с берега котлована на дно. Упростим ситуацию, считая, что берега котлована унимодальные, т. е. они гладкие, а не содержат локальных углублений или выступов. Тогда вода устремится вниз в направлении наибольшей крутизны берега в каждой точке.

    Переходя на математический язык, заключаем, что направление наискорейшего спуска соответствует направлению наибольшего убывания функции. Из курса математики известно, что направление наибольшего возрастания функции двух переменных   характеризуется ее градиентом

     

   Где единичные векторы (орты) в направлении координатных осей. Следовательно, направление, противоположное градиентному, укажет направление наибольшего убывания функции. Методы, основанные на выборе пути оптимизации с помощью градиента, называются градиентными. Идея метода градиентного спуска состоит в следующем. Выбираем некоторую начальную точку , и вычисляем в ней градиент рассматриваемой функции. Делаем шаг в направлении, обратном градиентному: