Рассмотрим (только для простоты записи) задачу оптимального управления для стационарной динамической системы и критерием оптимальности управления, зависящим только от вектора управления:
 (1)

 (2)

Обратим внимание на то, что, в отличие от того, как это делалось ранее, для обозначения фазового вектора использована маленькая буква , а для обозначения вектора управления – маленькая буква .
Покроем интервал сеткой с шагом (см. рис. 1).
Рис. 1.  Равномерная временная сетка на интервале [0, T].
Систему ОДУ (1) заменим ее конечно-разностным аналогом
 (3)

а функционал (2) заменим его приближенным значением, вычисленным по формуле прямоугольников
 (4)

где есть -матрица.
Таким образом, задача оптимального управления (1), (2) в дискретной форме имеет вид (3), (4).
Аналогично матрице введем в рассмотрение -матрицу и сформулируем принцип оптимальности (см. параграф 12.6) для задачи (3), (4).
Утверждение 1 (принцип оптимальности для дискретной системы). Пусть — оптимальное управление для задачи оптимального управления (3), (4) и пусть — соответствующая оптимальная фазовая траектория. Тогда для любых управление и соответствующая траектория будут оптимальными на интервале времени
Другими словами, если траектория оптимальна, то и любая ее завершающая часть, начинающаяся из точки , будет оптимальной на последних шагах. А всякая другая траектория из того же состояния, вообще говоря, не является оптимальной на этих шагах (см. рис. 2).
Рис. 2.  К принципу оптимальности для дискретной системы. n = 2.
Обозначим значение функционала (4) на завершающих шагах
Тогда если на завершающих шагах управление оптимально, имеет место равенство
 (5)

где — функция Беллмана для дискретной системы последних шагов для дискретной задачи оптимального управления (3), (4).
Из утверждения 1 следует, что на последнем шаге (когда )
 (6)

Найдем рекуррентное соотношение, связывающее между собой функции , . Положим для этого, что функция известна. Тогда если на -ом шаге с начальным состоянием выбрать управление , то процесс перейдет в состояние (начальное для последующих шагов). Если этот переход оптимален, то опять же из утверждения 1 следует искомое соотношение
 (7)

Уравнения (6), (7) позволяют последовательно найти функции и называются уравнениями динамического программирования Беллмана для дискретной системы (3), (4). Отметим, что одновременно с нахождением функций оказываются определенными и управления . Поскольку управление зависит от состояния , это управление называется условно оптимальным управлением.
После нахождения условно оптимальных управлений можно найти искомые управления по следующей схеме:
Схема метода приближённого решения задач оптимального управления методом динамического программирования Беллмана.
Этап 1
Шаг 1. Из условия (6) находим условно оптимальное управление и функцию Беллмана .
Шаг 2. Используя результаты предыдущего шага, из условия (7) находим условно оптимальное управление и функцию Беллмана .
...
Шаг N. Используя результаты предыдущего шага, из условия (7) находим условно оптимальное управление и функцию Беллмана
Этап 2.
Шаг 1. Находим управление и состояние ;
Шаг 2. Находим управление и состояние ;
...
Шаг N. Находим управление и состояние
Заметим, что при приближённом решении задач оптимального управления методом динамического программирования остается открытым вопрос о сходимости решения к решению исходной непрерывной задачи оптимального управления (1), (2).