Решите методом динамического программирования Беллмана следующую задачу оптимального управления для дискретной динамической системы (n=1, m=1):

 (1)


 (2)

где — символ целой части числа (т.е. множество есть множество целых числе от 0 до 4).
 Ответ 
Заменим ОДУ (1) его конечно-разностным аналогом
 (3)

а критерий оптимальности управления (2) — его приближенным значением, вычисленным по формуле прямоугольников
 (4)

Положим, что , .
Обратим внимание на следующее обстоятельство: из (3) и условия следует, что фазовая переменная может принимать только целочисленные значения на интервале .
Этап 1.
Шаг 1 (. Из условия (4) находим условно оптимальное управление и функцию Беллмана . Поскольку, легко видеть, и . Сведем результаты вычисления значений функции в табл. 1
Таблица 1    
  
43210
169410

Шаг 2 (. Используя результаты предыдущего шага, из условия (4) находим условно оптимальное управление и функцию Беллмана . Сведем результаты вычисления значений функции в табл. 2, в которой прочерки соответствуют не допустимым управлениям, а значения управления и функции Беллмана, выделенные жирным шрифтом, соответствует оптимальной траектории.
Таблица 2    
  
----
----
1---
10---
21--
85--
321-
1052-

Рассмотрим, для примера, схему получения значений , , соответствующих переходу системы из состояния в состояние . Из состояния в состояние система переходит под действием управления и этому переходу соответствует значение функции Беллмана , равное (см. табл. 1). Переход системы из состояния в состояние может быть выполнен только под действием управления . Поэтому .
Шаг 3 . Используя результаты предыдущего шага, из условия (4) находим условно оптимальное управление и функцию Беллмана . Сведем результаты вычисления значений функции в табл. 3, в которой прочерки соответствуют не допустимым управлениям, а значения управления и функции Беллмана, выделенные жирным шрифтом, соответствует оптимальной траектории.
Таблица 3    
  
1
10
2
8
3
10

Рассмотрим, для примера, схему получения значений , , соответствующих переходу системы из состояния в состояние . Из состояния система может перейти оптимально в состояние или в состояние Первому переходу соответствует оптимальное управление , второму переходу – оптимальное управление . Указанным переходам соответствует значение функции Беллмана , равное (см. табл. 2). Переход системы из состояния в состояние может быть выполнен только под действием управления . Поэтому .
Этап 2.
Шаг 4. Из табл. 3 следует, что существует два равноценных (приводящих к значению функции Беллмана, равному ) оптимальных управления . По формуле находим соответствующие значения переменной состояния :
Шаг 5. Из табл. 2 следует, что для существует два равноценных (приводящих к значению функции Беллмана, равному ) управления , . Аналогично, из табл. 2 следует, что для существует одно оптимальное управление . По формуле находим соответствующие значения переменной состояния :
Шаг 6. Из табл. 1 следует, что для существует одно оптимальное управление . Аналогично, из табл. 1 следует, что для существует одно оптимальное управление . По формуле находим соответствующие значения переменной состояния :
.
Полученные оптимальные управления и соответствующие оптимальные фазовые траектории иллюстрирует рис. 1.
Рис. 1.