В качестве критерия качества алгоритма оптимизации обычно рассматривают затраты времени на поиск. Эти затраты складываются
Поскольку в задачах САПР последние затраты много меньше первых, в качестве критерия качества алгоритма оптимизации A можно использовать количество испытаний , необходимых для нахождения минимума функции с заданной точностью при начальном приближении .
Для корректного сравнения эффективности различных алгоритмов, экспериментальное тестирование алгоритмов оптимизации необходимо выполнять при одинаковых значениях заданной точности решения . Поэтому будем в качестве критерия качества алгоритма оптимизации на классе функций {()} использовать критерий .
При заданной точности решения эффективность любого алгоритма поисковой оптимизации зависит от начального приближения . Поэтому при экспериментальном тестировании обычно критерий усредняют по множеству допустимых значений вектора варьируемых параметров . Обозначим такой критерий .
Точность решения задачи оптимизации определяется используемым условием окончания поиска. При экспериментальном тестировании в качестве такого условия обычно используют одно из двух следующих условий:

где - значение функции () в точке истинного минимума;

где - точка истинного минимума функции (), * - некоторая векторная норма.
Заметим, что эти условия накладывают на класс тестовых функций дополнительное требование: у этих функций априори должно быть известно положение истинного минимума .
Первоначально в качестве тестовых функций использовали одну или несколько наиболее «трудных» тестовых функций (многоэкстремальных, овражных и т.п.). В настоящее время для оценки качества алгоритмов поисковой оптимизации обычно используют среднее значение критерия на классе функций . Обозначим такой критерий через.
Тогда формально задачу поиска наилучшего алгоритма оптимизации можно записать в следующем виде:
 (1)

Особенности задачи (1):
Последняя особенность приводит к тому, что кроме критерия приходится использовать еще вероятность локализации минимума функции за допустимое количество испытаний . Таким образом, вообще говоря, задача экспериментального тестирования является задачей многокритериальной оптимизации (точнее, задачей двухкритериальной оптимизации).
Сделаем следующие предположения:
В сделанных предположениях общую схему экспериментального тестирования алгоритмов оптимизации можно представить в следующем виде (см. рис. 1).
Рис. 1.  Общая схема экспериментального тестирования алгоритмов поисковой оптимизации.
Заметим, что для получения статистически достоверных оценок значений , , величины , должны быть достаточно велики.