Положим, что функция () всюду дважды дифференцируема в -мерном евклидовом пространстве .
Рассмотрим следующую многомерную задачу локальной безусловной оптимизации: найти минимум критерия оптимальности (), определенного в -мерном евклидовом пространстве ,

 (1)

Обоснование метода оптимизации Ньютона.
Рассмотрим первые три члена разложения функции () в ряд Тейлора в окрестности точки :

 (2)

Здесь () - матрица Гессе функции (). Из (2) следует, что градиент функции () равен

 (3)

Если матрица Гессе () положительно определена, то функция () достигает минимума в точке, в которой градиент этой функции равен нулевому вектору.
Таким образом, в точке минимума функции () справедливо равенство

 (4)

где - -мерный вектор нулей. Отсюда получаем итерационную формулу

 (5)

для отыскания очередного приближения к точке минимума функции (). Здесь

 (6)

Выражение (5) представляет собой итерационную формулу решения системы уравнений (4) широко известным методом касательных (методом Ньютона) – см. параграф 4.8. Этим фактом объясняется название рассматриваемого метода оптимизации.
Найдем скалярное произведение градиента функции () в точке и вектора :

 (7)

Последнее неравенство справедливо в силу постулируемой положительной определенности матрицы Гессе в точке . Геометрически неравенство (7) означает, что вектор образует тупой угол с градиентом целевой функции () в точке (см. рис. 1). Таким образом, при минимизации овражных функций вектор может составлять с осью оврага меньший угол, чем вектор антиградиента. Эта особенность делает метод оптимизации Ньютона, вообще говоря, более эффективным, чем градиентный метод наискорейшего спуска.
Рис. 1.  К обоснованию метода многомерной оптимизации Ньютона.
Отметим трудности, которые могут возникать при использовании итерационной формулы (5):
Вследствие этих трудностей итерационная формула (5) в «чистом» виде не используется в вычислительной практике.
Для того чтобы избежать обращения матрицы Гессе, на практике вектор находят обычно из следующей системы линейных алгебраических уравнений (СЛАУ), вытекающей из равенства (6):

 (8)

СЛАУ (8) может быть решена различными численными методами (например, прямыми методами, итерационными методами).
Величина шага в направлении , которая приводит к убыванию функции (), может быть обеспечена путем добавления в итерационную формулу (5) коэффициента , т.е. путем использования вместо формулы (5) итерационной формулы

 (9)

где коэффициент выбирают тем или иным способом так, чтобы обеспечить условие .
Для того, чтобы направление спуска независимо от определенности матрицы Гессе () вело у убыванию функции (), в качестве вектора можно использовать вектор

 (10)

где - -единичная матрица, а - параметр, выбираемый так, чтобы матрица являлась положительно определенной.
Схема метода оптимизации Ньютона.
Рассмотрим схему одной из модификаций метода оптимизации Ньютона, в которой используется итерационная формула (9) и вектор находят путем решения на каждой итерации СЛАУ (8).
  1. Задаем начальную точку , начальную величину шага и коэффициент дробления шага Полагаем счетчик числа итераций =0.
  2. Вычисляем в точке вектор градиента () и матрицу Гессе ().
  3. Решаем СЛАУ (8) и находим вектор .
  4. По формуле (9) вычисляем компоненты вектора .
  5. Вычисляем величину - значение функции () в точке .
  6. Проверяем условие окончания поиска (см. ниже). Если условие окончания поиска выполнено, то полагаем , и завершаем итерации. Иначе – переходим к следующему пункту.
  7. Если <, то полагаем =+1 и переходим к п.2. Иначе – фиксированное число раз полагаем и переходим к пункту 4
В качестве условия окончания поиска можно использоваться одно из стандартных условий окончания итераций:




или условие


где - константа, определяющая требуемую точность решения по градиенту функции ().