Рассматривается следующая многомерная задача локальной безусловной оптимизации: найти минимум критерия оптимальности (), определенного в -мерном евклидовом пространстве ,

 (1)

При решении задачи (1) методом с возвратом при неудачном шаге (одношаговый метод оптимизации) используется итерационная формула

 (2)

где - величина шага на -ой итерации, - реализация -мерного случайного вектора, - некоторая векторная норма. Обычно в качестве координат вектора используют независимые случайные величины, равномерно распределенные в интервале .
Схема метода с возвратом при неудачном шаге.
  1. Задаем начальную точку , начальную длину шага и полагаем счетчик числа итераций =0.
  2. Задаем начальное значение счетчика числа неудачных попыток =1.
  3. Получаем реализацию случайных чисел - компонент вектора и по формуле (2) находим пробную точку .
  4. Вычисляем значение () функции () в точке .
  5. Если , то полагаем и переходим к п.3. Иначе – переходим к п.6.
  6. Полагаем . Если , то переходим к п.3. Иначе – переходим к п.7. Здесь – предельное количество неудачных попыток (свободный параметр метода). Рекомендуется .
  7. Проверяем условие окончания поиска (см. ниже). Если условие окончания поиска выполнено, то полагаем и завершаем итерации. Иначе – полагаем , и переходим к п. 2. Здесь - коэффициент уменьшения шага (свободный параметр метода)
В качестве условия окончания поиска можно использоваться одно из стандартных условий окончания итераций:

 (3)

где - константа, определяющая требуемую точность решения по ;

 (4)

где - константа, определяющая требуемую точность решения по .
Метод с возвратом при неудачном шаге иллюстрирует рис. 1, на котором показан фрагмент линий уровня функции Химмельблау.
Рис. 1.  Траектория поиска минимума функции Химмельблау методом с возвратом при неудачном шаге. Пунктиром на рисунке показаны неудачные шаги.
Модификацией метода с возвратом при неудачном шаге является метод наилучшей пробы (также одношаговый метод оптимизации).
Схема метода наилучшей пробы.
  1. Задаем начальную точку , начальную длину шага и полагаем счетчик числа итераций =0.
  2. Генерируем случайных векторов и по формуле (2) находим пробные точки
  3. Вычисляем значения () функции () в пробных точках , [1, ] и находим минимальное из этих значений

  4. Если ()<(), то полагаем =+1 и переходим к п.2. Иначе – переходим к п.5.
  5. Проверяем условие окончания поиска (см. (3), (4)). Если условие окончания поиска выполнено, то полагаем и завершаем итерации. Иначе – полагаем =+1, = и переходим к п.2. Здесь - коэффициент уменьшения шага (свободный параметр метода)
Метод наилучшей пробы иллюстрирует рис. 2, на котором показан фрагмент линий уровня функции Химмельблау.
Рис. 2.  Траектория поиска минимума функции Химмельблау методом наилучшей пробы. Пунктиром на рисунке показаны неудачные пробы.