Метод с возвратом при неудачном шаге предназначен для решения многомерных задач локальной безусловной оптимизации. Метод относится, с одной стороны, к классу прямых методов оптимизации, а с другой стороны - к классу стохастических методов оптимизации. Метод является одношаговым методом оптимизации. Идея метода состоит в следующем: на каждой итерации, исходя из текущей точки Xr, делается шаг длиной λr в случайном направлении; в полученной точке вычисляется значение минимизируемой функции Ф(X); если это значение меньше значения Ф(Xr), то полученная точка становится следующей текущей точкой; иначе - делается следующий шаг в новом случайном направлении; если фиксированное количество таких попыток не привело к уменьшению функции Ф(X), то длина шага λr уменьшается и рассмотренные шаги метода повторяются.

Метод наилучшей пробы предназначен для решения многомерных задач локальной безусловной оптимизации. Метод относится, с одной стороны, к классу прямых методов оптимизации, а с другой стороны - к классу стохастических методов оптимизации. Метод является модификацией метода с возвратом при неудачном шаге и, также как этот метод, является одношаговым методом оптимизации. Идея метода состоит в следующем: на каждой итерации, исходя из текущей точки Xr, делается фиксированное количество шагов длиной λr в случайных направлениях; в полученных точках вычисляются значения минимизируемой функции Ф(X) и находится минимальное из них; если это значение меньше значения Ф(Xr), то соответствующая точка X становится следующей текущей точкой; иначе - длина шага λr уменьшается и рассмотренные шаги метода повторяются.