Идею метода динамического программирования Беллмана рассмотрим на примере задачи оптимального быстродействия

(1)

(2)

Гипотеза 1. Какова бы ни была отличная от допустимая точка фазового пространства, существует оптимальная (в смысле быстродействия) траектория перехода динамической системы из точки в точку (см. рис. 1)

Время, в течение которого осуществляется оптимальный переход из точки в точку , обозначим .

В этих терминах гипотеза 1 может быть сформулирована следующим образом. Для любой точки существует такое управление , под действием которого динамическая система (1) переходит за время, равное , из точки в точку , но за время, меньшее, чем , перейти из точки в точку невозможно.

Гипотеза 2. Функция непрерывна и всюду, кроме, быть может, точки , имеет непрерывные частные производные

Пусть теперь ( — оптимальный процесс перехода системы (1) из состояния в состояние и — отрезок времени, в течение которого этот переход происходит; . Другими словами, положим, что

Утверждение 1 (принцип оптимальности). Если процесс оптимален, то процесс также оптимален.

Доказательство (см. рис. 2). Движение по рассматриваемой оптимальной траектории от точки до точки осуществляется за время , а движение из точки до точки — в течение времени . Быстрее, чем за это время из точки попасть в точку невозможно.

Действительно, если бы такое движение существовало (пунктир на рис. 2), то переместившись из точки в точку за время , а затем из точки в точку быстрее, чем за время , мы осуществили бы переход из в за время, меньшее, чем , что противоречит предположению об оптимальности процесса

Утверждение 2. Если процесс оптимален, то справедливо уравнение

где называется функцией Беллмана.

Доказательство. Из принципа оптимальности следует, что есть время оптимального движения из точки в точку , т.е.

(3)

Заменив в формуле (3) на , получим

или

(4)

Переходя в формуле (4) к пределу при , получим, что на оптимальной траектории выполняется равенство

(5)

По правилам дифференцирования сложной функции с учетом уравнения (1) из равенства (5) имеем

(6)

Из принципа оптимальности следует, что соотношение (6) верно для любых . Таким образом, окончательно имеем

Аналогично утверждению 2 можно доказать справедливость следующего утверждения.

Утверждение 3. Если процесс оптимален, то справедливо уравнение динамического программирования Беллмана для непрерывной системы

(7)

Методом динамического программирования Беллмана называется метод решения задач оптимального управления, использующий принцип оптимальности или уравнение динамического программирования Беллмана.

Подчеркнем следующие обстоятельства: