Динамическое программирование. Задачи об инвестировании

9. Произвести безусловную оптимизацию управления, «читая» соответствующие рекомендации на каждом шаге. Взять найденное оптимальное управление на первом шаге ; изменить состояние системы по формуле (1.1); для вновь найденного состояния найти оптимальное управление на втором шаге х₂^* и т.д. до конца.

Данные этапы рассматривались  для аддитивных задач, в которых  выигрыш за всю операцию равен  сумме выигрышей на отдельных  шагах. Метод динамического программирования применим также и к задачам  с так называемым «мультипликативным»  критерием, имеющим вид произведения:

(если только выигрыши  w_i положительны). Эти задачи решаются точно так же, как задачи с аддитивным критерием, с той единственной разницей, что в основном уравнении (1.2) вместо знака «плюс» ставится знак «умножения»: 

 

2. Общая структура динамического программирования

 

Отыскание оптимальной стратегии  принятия набора последовательных решений, в большинстве случаях, производится следующим образом: сначала осуществляется выбор последнего во времени решения, затем при движении в направлении, обратном течению времени, выбираются все остальные решения вплоть до исходного.

Для реализации такого метода необходимо выяснить все ситуации, в которых может происходить  выбор последнего решения. Обычно условия, в которых принимается решение, называют «состоянием» системы. Состояние системы – это описание системы, позволяющее, учитывая будущие решения, предсказать ее поведение. Нет необходимости выяснять, как возникло то ил иное состояние или каковы были предшествующие решения. Это позволяет последовательно выбирать всего по одному решению в каждый момент времени. Независимо от того, отыскивают оптимальные решения с помощью табличного метода и последующего поиска или аналитическим путем, обычно быстрее и выгоднее производить выбор по одному решению в один момент времени, переходя затем к следующему моменту и т.д. К сожалению, таким методом можно исследовать не все процессы принятия решений. Необходимым условием применения метода динамического программирования является аддитивность цен всех решений, а также независимость будущих результатов от предыстории того или иного состояния.

Если число решений  очень велико, то можно построить  относительные оценки состояний  так, чтобы оценки, отвечающие каждой паре последовательных решений, отличались друг от друга на постоянную величину, представляющую собой средний «доход»  на решение. Также можно выполнять  дисконтирование доходов от будущих  решений. Необходимость в этом иногда появляется в том случае, когда  решение принимаются редко, скажем раз в году. Тогда уже не нужно  рассматривать последовательно 1,2,3…решения, чтобы достичь решения с большим  номером. Вместо этого можно непосредственно  оперировать функциональным уравнением, что, как правило, дает существенную выгоду с точки зрения сокращения объема вычислений.

 

3. Задача планирования рабочей силы

 

При выполнении некоторых  проектов число рабочих, необходимых  для выполнения какого-либо проекта, регулируется путем их найма и  увольнения. Поскольку как наем, так и увольнение рабочих связано с дополнительными затратами, необходимо определить, каким образом должна регулироваться численность рабочих в период реализации проекта.

Предположим, что проект будет выполняться в течение n недель и минимальная потребность в рабочей силе на протяжении i-й недели составит b_i рабочих. При идеальных условиях хотелось бы на протяжении i-й недели иметь в точности b_i рабочих. Однако в зависимости от стоимостных показателей может быть более выгодным отклонение численности рабочей силы как в одну, так и в другую сторону от минимальных потребностей.

Если x_i – количество работающих на протяжении i-й недели, то возможны затраты двух видов: 1) С₁(x_i- b_i)-затраты, связанные с необходимостью содержать избыток x_i - b_i рабочей силы и 2) С₂(x_i- x_i-1)-затраты, связанные с необходимостью дополнительного найма (x_i- x_i-1) рабочих.

Элементы модели динамического  программирования определяются следующим  образом:

1. Этап і представляется порядковым номером недели і, і=1,2,…n.
2. Вариантами решения на і-ом этапе являются значения x_i – количество работающих на протяжении і-й недели.
3. Состоянием на і-м этапе является x_i-1 – количество работающих на протяжении (і-1) –й недели (этапа).

Рекуррентное уравнение  динамического программирования представляется в виде

где

Вычисления начинаются с  этапа n при x_n=b_n и заканчиваются на этапе 1.

 

 

 

4. Задача замены оборудования

 

Чем дольше механизм эксплуатируется, тем выше затраты на его обслуживание и ниже его производительность. Когда срок эксплуатации механизма достигает определенного уровня, может оказаться более выгодной его замена. Задача замены оборудования, таким образом, сводится к определению оптимального срока эксплуатации механизма.

Предположим, что мы занимаемся заменой механизмов на протяжении n лет. В начале каждого года принимается решение либо об эксплуатации механизма еще один год, либо о замене его новым.

Обозначим через r(t) и c(t) прибыль от эксплуатации t-летнего механизма на протяжении года и затраты на его обслуживание за этот же период. Далее пусть s(t) – стоимость продажи механизма, который эксплуатировался t лет. Стоимость приобретения нового механизма остается неизменной на протяжении всех лет и равна l.

Элементы модели динамического  программирования таковы:

1. Этап і представляется порядковым номером года і, і=1,2,...n.
2. Вариантами решения на і-м этапе (т.е. для і-ого года) являются альтернативы: продолжить эксплуатацию или заменить механизм в начале і-ого года.
3. Состоянием на і-м этапе является срок эксплуатации t (возраст) механизма к началу і-ого года.

Пусть f_i(t)-максимальная прибыль, получаемая за годы от і до n при условии, что в начале і-ого года имеется механизм t-летнего возраста.

Рекуррентное уравнение  имеет следующий вид:

(1)-если эксплуатировать  механизм,

(2)-если заменить механизм.

 

5. Задача инвестирования

 

Предположим, что в начале каждого из следующих n лет необходимо сделать инвестиции P₁, P₂,…, P_n соответственно. Вы имеете возможность вложить капитал в два банка: первый банк выплачивает годовой сложный процент r₁, а второй - r₂. Для поощрения депозитов оба банка выплачивают новым инвесторам премии в виде процента от вложенной суммы.

Премиальные меняются от года к году, и для і-ого года равны q_i1 и q_i2 в первом и втором банках соответственно. Они выплачиваются к концу года, на протяжении которого сделан вклад, и могут быть инвестированы в один из двух банков на следующий год. Это значит, что лишь указанные проценты и новые деньги могут быть инвестированы в один из двух банков. Размещенный в банке вклад должен находится там до конца рассматриваемого периода. Необходимо разработать стратегию инвестиции на следующие n лет.

Элементы модели динамического  программирования следующие:

1. Этап і представляется порядковым номером года і, і=1,2,...n
2. Вариантами решения на і-м этапе (для і-ого года) являются суммы l_i и инвестиций в первый и второй банк соответственно.
3. Состоянием x_i на і-м этапе является сумма денег на начало і-ого года, которые могут быть инветсированы.

Заметим, что по определению  =x_i-l_i. Следовательно,

где і=2,3,…n, x₁=P₁. Сумма денег x_i, которые могут быть инвестированы, включает лишь новые деньги и премиальные проценты за инвестиции, сделанные на протяжении (і-1)-го года.

Пусть f_i(x_i)- оптимальная сумма инвестиций для интервала от і-го до n-го года при условии, что в начале і-го года имеется денежная сумма x_i. Далее обозначим через s_i накопленную сумму к концу n-го года при условии, что l_i и (x_i-l_i)-объемы инвестиций на протяжении і-го года в первый и второй банк соответственно. Обозначая , і=1,2, мы можем сформулировать задачу в следующем виде.

Максимизировать z=s₁+s₂+…+s_n, где

Так как премиальные за n-й год являются частью накопленной денежной суммы от инвестиций, в выражения для s_n добавлены q_n1 и q_n2.

Итак, в данном случае рекуррентное уравнение для обратной прогонки в алгоритме динамического программирования имеет вид

где x_i+1 выражается через x_i в соответствии с приведенной выше формулой, а f_n+1(x_n+1)=0.

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Глава 2. Практическая часть

2.1. Задача

 

Фирма хочет инвестировать  в первый год 10000 тыс. руб. и на 2000 тыс. руб. меньше каждый последующий  год. Срок инвестирования 4 года. Первый банк выплачивает годовой сложный  процент 9,5 % и премиальные на протяжении следующих четырех лет в размере 1,5, 1,9, 2,2 и 2,7 % соответственно. Годовой  сложный процент, предлагаемый вторым банком, на 0,4 % ниже, чем предлагает первый банк, но его премиальные  на 0,6% выше. Найти максимальное накопление капитала к концу четвертого года.  

 

2.2. Решение задачи

 

Используя введенные выше обозначения, имеем следующее.

 

 

 

 

 

 

Этап 4.

 

где

Функция s₄ является линейной по I₄ в области , и, следовательно, ее максимум достигается при из-за отрицательного коэффициента при Следовательно, оптимальное решение для этапа 4 может быть представлено в следующем виде.

 

Таблица 1. Данные, полученные на этапе 4
	Оптимальное решение
Состояние	f4(x4)	I4
x4	1,124*x4	0

 

Этап 3.

 

где

 

 

Следовательно,

 

=

Оптимальное решение для  этапа 3 может быть представлено в  следующем виде.

Таблица 2. Данные, полученные на этапе 3
	Оптимальное решение
Состояние
x3	4496+1,223753

 

Этап 2.

 

где

 

 

Следовательно,

.

Оптимальное решение для  этапа 2 может быть представлено в  следующем виде.

Таблица 3. Данные, полученные на этапе 2
	Оптимальное решение
Состояние

 

Этап 1.

 

где

 

 

Следовательно,

 

==.

Оптимальное решение для  этапа 1 может быть представлено в  следующем виде.

 

Таблица 3. Данные, полученные на этапе 1
	Оптимальное решение
Состояние
	22527,99+1,457704	10000 тыс. руб.

 

При вычислениях в обратном направлении получаем следующее.

 

 

 

Следовательно, оптимальное  решение будет записано следующим  образом.

Таблица 5. Оптимальное решение
Год	Оптимальное решение	Решение, принимаемое инвестором	Накопления
1	=	Инвестировать 10000 тыс. руб. в первый банк
2	=	Инвестировать =8150 тыс. руб. в первый банк
3	=	Инвестировать =6154,85 тыс. руб. в первый банк
4	=0	Инвестировать 4135,41 тыс. руб. во второй банк
Всего			37104,63 тыс. руб.