Метод Гаусса-Зейделя относится, с одной стороны, к классу прямых методов оптимизации, а с другой стороны - к классу детерминированных методов оптимизации. Метод предназначен для решения многомерной задачи безусловной оптимизации (точнее говоря, многомерной задачи локальной безусловной оптимизации): найти минимум критерия оптимальности Ф(X) определенного в n-мерном арифметическом пространстве. На каждой итерации метода Гаусса-Зейделя последовательно решается n одномерных задач безусловной оптимизации, имеющих целью отыскание локальных минимумов соответствующих одномерных функций вдоль координатных направлений.

Функция Химмельблау является одной из широко известных двумерных тестовых функций и определяется следующим образом: Ф(x1,x2)=(x1^2+x2-11)^2+(x1+x2^2-7)^2. Здесь ^ - символ возведения в степень.