Решение задач методом динамического программирования

Федеральное государственное бюджетное  образовательное учреждение

высшего профессионального образования

 

РОССИЙСКАЯ АКАДЕМИЯ НАРОДНОГО  ХОЗЯЙСТВА И ГОСУДАРСТВЕННОЙ  СЛУЖБЫ

ПРИ ПРЕЗИДЕНТЕ РОССИЙСКОЙ ФЕДЕРАЦИИ

НИЖЕГОРОДСКИЙ ИНСТИТУТ УПРАВЛЕНИЯ

 

Факультет управления, экономики  и права очного обучения

Кафедра СИСТЕМНОГО АНАЛИЗА И МАТЕМАТИКИ

 

 

КУРСОВАЯ РАБОТА

по дисциплине «Разработка управленческих решений»

 

на тему:

«Решение задач методом динамического программирования»

 

 

 

 

 

Выполнила Шевелова Н.Н., 

Студентка гр. ГК-333.

Проверила: Малиновская Г.А.

 

 

 

 

Нижний Новгород, 2012г.

 

СОДЕРЖАНИЕ

 

ВВЕДЕНИЕ……………………………………….…………………………….3

1. ДИНАМИЧЕСКОЕ ПРОГРАММИРОВАНИЕ

1.1 Задача динамического программирования………………………….……5

1.2 Общая структура динамического  программирования .………….………9

 

2. РЕШЕНИЕ ЗАДАЧ МЕТОДОМ ДИНАМИЧЕСКОГО  ПРОГРАММИРОВАНИЯ…………………………………………………..…11

2.1 Общая постановка задачи динамического программирования……………………………………………..………….…..11

2.2 Решение задачи динамического программирования……………………15

 

ПРАКТИЧЕСКАЯ ЧАСТЬ……………………………………………………21

Задача оптимального распределении инвестиций…………………………..21

 

ЗАКЛЮЧЕНИЕ………………………………………………………………..28

СПИСОК ИСПОЛЬЗУЕМЫХ ИСТОЧНИКОВ…………………….……….29

 

 

ВВЕДЕНИЕ.

 

В настоящее время выделяется большое вниманием вопросам организации  и управления, это приводит к необходимости  анализа сложных целенаправленных процессов под углом зрения их структуры и организации.

В процессе развития, а также  по мере изменения экономических  условий все предприятия сталкиваются с необходимостью совершенствования  своих экономических структур. Предприятия  пересматривают существующие системы  управления, внедряют новые информационные системы управления, проводят реорганизацию  бизнеса на основе современных методов  реинжиниринга. К разряду "вечных" проблем предприятий относится проблема распределения ресурсов: ресурсы, в отличие от потребностей, всегда ограничены. Их, так или иначе, приходится распределять на различные нужды постоянно и на всех уровнях. Примерами таких задач распределения ресурсов являются динамическая задача оптимизации портфеля проектов, задача оптимизации финансирования ряда многоэтапных инвестиционных проектов в рамках некоторой целевой программы с достаточно длительным сроком реализации. Динамическое программирование является одним из наиболее эффективных методов решения подобных задач, чем и объясняется актуальность данной работы.

Целью курсовой работы является выявление наилучшего способа действия при решении той или иной задачи. Главная роль при этом отводится  математическому моделированию. Для  построения математической модели необходимо иметь строгое представление  о цели функционирования исследуемой  системы и располагать информацией  об ограничениях, которые определяют область допустимых значений. Цель и ограничения должны быть представлены в виде функций.

В моделях исследования операций переменные, от которых зависят ограничения  и целевая функция, могут быть дискретными (чаще всего целочисленными) и континуальными (непрерывными). В свою очередь, ограничения и целевая функция делятся на линейные и нелинейные. Существуют различные методы решения данных моделей, наиболее известными и эффективными из них являются методы линейного программирования, когда целевая функция и все ограничения линейные. Для решения математических моделей других типов предназначены методы динамического программирования, целочисленного программирования, нелинейного программирования, многокритериальной оптимизации и методы сетевых моделей.

Практически все методы исследования операций порождают вычислительные алгоритмы, которые являются итерационными  по своей природе. Это подразумевает, что задача решается последовательно (итерационно), когда на каждом шаге (итерации) получаем решение, постепенно сходящиеся к оптимальному решению.

Для написания курсовой работы будут взяты данные из разных источников: учебные пособия по исследованию операций, учебники по математическим методам и моделям в управлении, математическим методам оптимизации и экономической теории, динамическому программированию.

 

1. ДИНАМИЧЕСКОЕ  ПРОГРАММИРОВАНИЕ.

 

1.1 Задача динамического программирования.

 

Большинство методов исследования операций связано  в первую очередь с задачами вполне определенного содержания. Классический аппарат математики оказался малопригодным  для решения многих задач оптимизации, включающих большое число переменных и/или ограничений в виде неравенств. Несомненна привлекательность идеи разбиения задачи большой размерности  на подзадачи меньшей размерности, включающие всего по нескольких переменных, и последующего решения общей задачи по частям. Именно на этой идее основан метод динамического программирования.

В основе динамического программирования лежит  принцип оптимальности Р.Беллмана, сформулированный впервые в 1953г.: какого бы ни было состояние системы S в результате какого-либо числа шагов, на ближайшем шаге нужно выбирать управление так, что бы оно, в совокупности с оптимальным управлением на всех последующих шагах, приводило к оптимальному выигрышу на всех оставшихся шагах, включая данный.

Беллманом были сформулированы и условия, при  которых принцип верен. Основное требование – процесс управления должен быть без обратной связи, т.е. управление на данном шаге не должно оказывать  влияние на предшествующие шаги. Решение  на каждом шаге оказывается наилучшим  с точки зрения управления в целом.

Метод динамического  программирования можно использовать для решения весьма широкого круга  задач, включая задачи распределения  ресурсов, замены и управления запасами, задачи о загрузке. Характерным для  динамического программирования является подход к решению задачи по этапам, с каждым из которых ассоциирована  одна управляемая переменная. Набор рекуррентных вычислительных процедур, связывающих различные этапы, обеспечивает получение допустимого оптимального решения задачи в целом при достижении последнего этапа.

Происхождение названия динамическое программирование, вероятно, связано с использованием методов ДП в задачах принятия решений через фиксированные промежутки времени (например, в задачах управления запасами). Однако методы ДП успешно применяются также для решения задач, в которых фактор времени не учитывается. По этой причине более удачным представляется термин многоэтапное программирование, отражающий пошаговый характер процесса решения задачи.

Фундаментальным принципом, положенным в основу теории ДП, является принцип оптимальности. По существу, он определяет порядок  поэтапного решения допускающей  декомпозицию задачи (это более приемлемый путь, чем непосредственное решение  задачи в исходной постановке) с  помощью рекуррентных вычислительных процедур.

Динамическое  программирование позволяет осуществлять оптимальное планирование управляемых  процессов. Под «управляемыми» понимаются процессы, на ход которых мы можем  в той или другой степени влиять.

Динамическое  программирование – это поэтапное  планирование многошагового процесса, при котором на каждом этапе оптимизируется только один шаг. Управление на каждом шаге должно выбираться с учетом всех его последствий в будущем.

При постановке задач динамического программирования следует руководствоваться следующими принципами:

- Выбрать параметры (фазовые координаты), характеризующие состояние S управляемой системы перед каждым шагом.

- Расчленить операцию на этапы (шаги).

- Выяснить набор шаговых управлений x_i для каждого шага и налагаемые на них ограничения.

- Определить какой выигрыш приносит на i-ом шаге управление x_i, если перед этим система была в состоянии S, т.е. записать «функцию выигрыша»:

 

.(1)

 

- Определить, как изменяется состояние системы S под влиянием управления x_i на i-ом шаге: оно переходит в новое состояние

 

. (1.1)

 

- Записать основное рекуррентное уравнение динамического программирования, выражающее условный оптимальный выигрыш W_i(S) (начиная с i-го шага и до конца) через уже известную функцию W_i+1(S):

 

. (1.2)

 

Этому выигрышу соответствует условное оптимальное  управление на i-м шаге x_i(S) (причем в уже известную функцию W_i+1(S) надо вместо S подставить измененное состояние )

- Произвести условную оптимизацию последнего (m-го) шага, задаваясь гаммой состояний S, из которых можно за один шаг дойти до конечного состояния, вычисляя для каждого из них условный оптимальный выигрыш по формуле (1.3)

Произвести  условную оптимизацию (m-1)-го, (m-2)-го и т.д. шагов по формуле (1.2), полагая в ней i=(m-1),(m-2),…, и для каждого из шагов указать условное оптимальное управление x_i(S), при котором максимум достигается.

Заметим, что если состояние системы в  начальный момент известно, то на первом шаге варьировать состояние системы  не нужно - прямо находим оптимальный  выигрыш для данного начального состояния S₀. Это и есть оптимальный выигрыш за всю операцию

 

(1.4)

 

Произвести  безусловную оптимизацию управления, «читая» соответствующие рекомендации на каждом шаге. Взять найденное  оптимальное управление на первом шаге ; изменить состояние системы по формуле (1.1); для вновь найденного состояния найти оптимальное управление на втором шаге х₂^* и т.д. до конца.

 

Данные  этапы рассматривались для аддитивных задач, в которых выигрыш за всю  операцию равен сумме выигрышей  на отдельных шагах. Метод динамического  программирования применим также и  к задачам с так называемым «мультипликативным» критерием, имеющим  вид произведения:

 

(1.5)

 

(если  только выигрыши w_i положительны).

Эти задачи решаются точно так же, как задачи с аддитивным критерием, с той  единственной разницей, что в основном уравнении (1.2) вместо знака «плюс» ставится знак «умножения»: .(1.6)

 

 

 

1.2 Общая структура динамического  программирования.

 

Отыскание оптимальной стратегии принятия набора последовательных решений, в  большинстве случаях, производится следующим образом: сначала осуществляется выбор последнего во времени решения, затем при движении в направлении, обратном течению времени, выбираются все остальные решения вплоть до исходного.

Для реализации такого метода необходимо выяснить все  ситуации, в которых может происходить  выбор последнего решения. Обычно условия, в которых принимается решение, называют «состоянием» системы. Состояние  системы – это описание системы, позволяющее, учитывая будущие решения, предсказать ее поведение. Нет необходимости  выяснять, как возникло то или иное состояние или каковы были предшествующие решения. Это позволяет последовательно  выбирать всего по одному решению  в каждый момент времени. Независимо от того, отыскивают оптимальные решения  с помощью табличного метода и  последующего поиска или аналитическим  путем, обычно быстрее и выгоднее производить выбор по одному решению  в один момент времени, переходя затем  к следующему моменту и т.д. К  сожалению, таким методом можно  исследовать не все процессы принятия решений. Необходимым условием применения метода динамического программирования является аддитивность цен всех решений, а также независимость будущих результатов от предыстории того или иного состояния.

Если  число решений очень велико, то можно построить относительные  оценки состояний так, чтобы оценки, отвечающие каждой паре последовательных решений, отличались друг от друга на постоянную величину, представляющую собой средний «доход» на решение. Также можно выполнять дисконтирование  доходов от будущих решений. Необходимость  в этом иногда появляется в том  случае, когда решение принимаются редко, скажем раз в году. Тогда уже не нужно рассматривать последовательно 1,2,3…решения, чтобы достичь решения с большим номером. Вместо этого можно непосредственно оперировать функциональным уравнением, что, как правило, дает существенную выгоду с точки зрения сокращения объема вычислений.

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

2. Решение задач методом динамического программирования.

 
2.1 Общая постановка задачи динамического  программирования.

 

Метод оказывается весьма эффективным при анализе задач с аддитивной целевой функцией     к которым относятся, в частности, задачи линейного и квадратичного программирования

Необходимость принять решение возникает тогда, когда производятся те или иные целенаправленные действия. Если в какой-либо реальной задаче подобные ситуации возникают  периодически, то образуется процесс  принятия решений.

Предположим, что интересующий нас процесс  можно разбить на N шагов, а действия, совершаемые на i-ом шаге, характеризуются совокупностью показателей   . Состояние процесса к началу этого шага имеет характеристику в виде набора параметров   . Обычно предпринимаемые действия не являются полностью произвольными, а зависят от состояния   , которое возникло перед i-ым шагом, т.е.   . Очевидно, результирующее значение критерия Z, получаемое в конце процесса, будет определяться теми   , которые были приняты, т.е.   . Возникает вопрос: Как выбрать   , чтобы величина Z приняла экстремальное значение? Ответ можно получить, рассматривая Z как функцию переменных   и находя экстремум z одним из известных способов, однако этот путь не всегда прост (особенно при большом числе переменных).                             . 
Появляется идея провести оптимизацию поэтапно, анализируя последовательно каждый шаг процесса в поисках наилучших вариантов его продолжения. 
Эта идея лежит в основе метода динамического программирования, реализующего принцип последовательной оптимизации. Следовательно, важным условием применимости рассматриваемого метода является возможность разбиения процесса принятия решений на ряд однотипных шагов или этапов, каждый из которых планируется отдельно, но с учетом результатов, полученных на других шагах.