Конкретную детерминированную задачу оптимизации можно решить различными алгоритмами. Отсюда возникают вопросы:
Ответ на эти вопросы возможен только в том случае, когда определен класс функций , которому принадлежит критерий оптимальности . Без определения этого класса ответить на поставленные вопросы невозможно – нет алгоритма, наилучшего для всех возможных функций
Примеры классов функций:
Множество рассматриваемых алгоритмов оптимизации обозначим {}.
Для формальной постановки задачи определения наилучшего алгоритма из множества на классе функций необходимо еще ввести критерий качества алгоритма оптимизации. Обозначим этот критерий , где , . Положим, что оптимальным является наименьшее значение этого критерия.
Для построения критерия качества алгоритма на всем классе функций можно воспользоваться
Если критерий качества алгоритма на классе функций тем или иным образом определен, то задача отыскания наилучшего алгоритма оптимизации на этом классе функций формально может быть записана в следующем виде:

 (1)

Теоретическое решение задачи (1) возможно только для алгоритмов поиска минимума одномерных унимодальных функций. В более сложных случаях сравнение алгоритмов поисковой оптимизации и выбор из них наилучшего производится на основе экспериментального тестирования.