В задачах динамического программирования экономический процесс зависит от времени (от нескольких периодов (этапов) времени), поэтому находится ряд оптимальных решений (последовательно для каждого этапа), обеспечивающих оптимальное развитие всего процесса в целом. Задачи динамического программирования называются многоэтапными или многошаговыми. Динамическое программирование представляет собой математический аппарат, позволяющий осуществлять оптимальное планирование многошаговых управляемых процессов и процессов, зависящих от времени. Экономический процесс называется управляемым, если можно влиять на ход его развития. Управлением называется совокупность решений, принимаемых на каждом этапе для влияния на ход процесса. В экономических процессах управление заключается в распределении и перераспределении средств на каждом этапе. Например, выпуск продукции любым предприятием – управляемый процесс, так как он определяется изменением состава оборудования, объемом поставок сырья, величиной финансирования и т.д. Совокупность решений, принимаемых в начале каждого года планируемого периода по обеспечению предприятия сырьем, замене оборудования, размерам финансирования и т.д., является управлением. Казалось бы, для получения максимального объема выпускаемой продукции проще всего вложить максимально возможное количество средств и использовать на полную мощность оборудование. Но это привело бы к быстрому изнашиванию оборудования и, как следствие, к уменьшению выпуска продукции. Следовательно, выпуск продукции надо спланировать так, чтобы избежать нежелательных эффектов. Необходимо предусмотреть мероприятия, обеспечивающие пополнение оборудования по мере изнашивания, т.е. по периодам времени. Последнее хотя и приводит к уменьшению первоначального объема выпускаемой продукции, но обеспечивает в дальнейшем возможность расширения производства. Таким образом, экономический процесс выпуска продукции можно считать состоящим из нескольких этапов (шагов), на каждом из которых осуществляется влияние на его развитие.
Началом этапа (шага) управляемого процесса считается момент принятия решения (о величине капитальных вложений, о замене оборудования определенного вида и т.д.). Под этапом обычно понимают хозяйственный год.
Динамическое программирование, используя поэтапное планирование, позволяет не только упростить решение задачи, но и решить те из них, к которым нельзя применить методы математического анализа. Упрощение решения достигается за счет значительного уменьшения количества исследуемых вариантов, так как вместо того, чтобы один раз решать сложную многовариантную задачу, метод поэтапного планирования предполагает многократное решение относительно простых задач.
Планируя поэтапный процесс, исходят из интересов всего процесса в целом, т.е. при принятии решения на отдельном этапе всегда необходимо иметь в виду конечную цель.
Предположим, какая-то система S находится в некотором начальном состоянии S0 и является управляемой. Таким образом, благодаря осуществлению некоторого управления U указанная система переходит из начального состояния S0 в конечное состояние Sк. При этом качество каждого из реализуемых управлений U характеризуется соответствующим значением функции W(U). Задача состоит в том, чтобы из множества возможных управлений U найти такое U*, при котором функция W(U) принимает экстремальное (максимальное или минимальное) значение W(U*).
Задачи динамического программирования имеют геометрическую интерпретацию. Состояние физической системы S можно описать числовыми параметрами, например расходом горючего и скоростью, количеством вложенных средств и т.д. Назовем эти параметры координатами системы; тогда состояние системы можно изобразить точкой S, а переход из одного состояния S1 в другое S2 – траекторией точки S. Управление U означает выбор определенной траектории перемещения точки S из S1 в S2, т.е. установление определенного закона движения точки S.
S0 S Sk
 |
0 x
Область возможных состояний системы
Рис. 1.1. Графическое изображение перехода системы S
Совокупность состояний, в которые может переходить система, называется областью возможных состояний. В зависимости от числа параметров, характеризующих состояние системы, область возможных состояний системы может быть различной. Пусть, например, состояние системы S характеризуется одним параметром, - координатой x. В этом случае изменение координаты, если на нее наложены некоторые ограничения, изобразится перемещением точки S по оси Оx или по ее участку. Следовательно, областью возможных состояний системы является совокупность значений x, а управлением – закон движения точки S из начального состояния S0 в конечное Sk по оси Ox или ее части (рис. 1.1).
Если состояние системы S характеризуется двумя параметрами (x1 и x2), то областью возможных состояний системы служит плоскость x1Ox2 или ее часть, а управление изобразится линией на плоскости, по которой точка S перемещается из S0 в Sk (рис. 1.2).
х2
S0
S Sk
0 х1
Рис. 1.2. Управление системы S в графическом изображении
В общем случае, когда состояние системы описывается n параметрами xi (i=1,2,…,n), областью возможных состояний служит n-мерное пространство, а уравление изображается перемещением точкиS из какой-то начальной области S0 в конечную Sk по некоторой “траектории” этого пространства.
Таким образом, задаче динамического программирования можно дать следующую геометрическую интерпретацию. Из всех траекторий, принадлежащих области возможных состояний системы и соединяющих области S0 и Sk, необходимо выбрать такую, на которой критерий W принимает оптимальное значение.
Чтобы рассмотреть общее решение задач динамического программирования, введем обозначения и сделаем для дальнейших изложений предположения.
Будем считать, что состояние рассматриваемой системы S на k-м шаге (k=1,n) определяется совокупностью чисел X(k) =(x1 (k) , x2(k) ,…, xn(k)), которые получены в результате реализации управления uk, обеспечившего переход системы S из состояния X(k-1) в состояние X(k). При этом будем предполагать, что состояние X(k) , в которое перешла система S, зависит от данного состояния X(k-1) и выбранного управления uk и не зависит от того, каким образом система S пришла в состояние X(k-1) .
Далее будем считать, что если в результате реализации k-го шага обеспечен определенный доход или выигрыш, также зависящий от исходного состояния системы X(k-1) и выбранного управления uk и равный Wk(X(k-1), uk), то общий доход или выигрыш за n шагов составляет
(1.3)
Таким образом, задача динамического программирования должна удовлетворять два условия. Первое условие обычно называют условием отсутствия последействия, а второе – условием аддитивности целевой функции задачи.