Положим, что функция () всюду дважды дифференцируема в -мерном евклидовом пространстве .

Рассмотрим следующую многомерную задачу локальной безусловной оптимизации: найти минимум критерия оптимальности (), определенного в -мерном евклидовом пространстве ,

Рассмотрим первые три члена разложения функции () в ряд Тейлора в окрестности точки :

Здесь () - матрица Гессе функции (). Из (2) следует, что градиент функции () равен

Если матрица Гессе () положительно определена, то функция () достигает минимума в точке, в которой градиент этой функции равен нулевому вектору.

Таким образом, в точке минимума функции () справедливо равенство

где - -мерный вектор нулей. Отсюда получаем итерационную формулу

для отыскания очередного приближения к точке минимума функции (). Здесь

Выражение (5) представляет собой итерационную формулу решения системы уравнений (4) широко известным методом касательных (методом Ньютона) – см. параграф 4.8. Этим фактом объясняется название рассматриваемого метода оптимизации.

Найдем скалярное произведение градиента функции () в точке и вектора :

Последнее неравенство справедливо в силу постулируемой положительной определенности матрицы Гессе в точке . Геометрически неравенство (7) означает, что вектор образует тупой угол с градиентом целевой функции () в точке (см. рис. 1). Таким образом, при минимизации овражных функций вектор может составлять с осью оврага меньший угол, чем вектор антиградиента. Эта особенность делает метод оптимизации Ньютона, вообще говоря, более эффективным, чем градиентный метод наискорейшего спуска.

Отметим трудности, которые могут возникать при использовании итерационной формулы (5):

Вследствие этих трудностей итерационная формула (5) в «чистом» виде не используется в вычислительной практике.

Для того чтобы избежать обращения матрицы Гессе, на практике вектор находят обычно из следующей системы линейных алгебраических уравнений (СЛАУ), вытекающей из равенства (6):

СЛАУ (8) может быть решена различными численными методами (например, прямыми методами, итерационными методами).

Величина шага в направлении , которая приводит к убыванию функции (), может быть обеспечена путем добавления в итерационную формулу (5) коэффициента , т.е. путем использования вместо формулы (5) итерационной формулы

где коэффициент выбирают тем или иным способом так, чтобы обеспечить условие .

Для того, чтобы направление спуска независимо от определенности матрицы Гессе () вело у убыванию функции (), в качестве вектора можно использовать вектор

где - -единичная матрица, а - параметр, выбираемый так, чтобы матрица являлась положительно определенной.

Рассмотрим схему одной из модификаций метода оптимизации Ньютона, в которой используется итерационная формула (9) и вектор находят путем решения на каждой итерации СЛАУ (8).

В качестве условия окончания поиска можно использоваться одно из стандартных условий окончания итераций:

или условие

где - константа, определяющая требуемую точность решения по градиенту функции ().