Критерий качества алгоритма оптимизации используется при поиске наилучшего алгоритма оптимизации. К качестве этого критерия может использоваться, например, количество испытаний, необходимых для поиска минимума некоторой тестовой функции с заданной точностью.

Пусть дана некоторая совокупность алгоритмов оптимизации {A}, некоторый класс функций {Ф} и критерий качества алгоритма оптимизации W(Ф,A), который, положим, желательно минимизировать. Тогда наилучшим алгоритмом оптимизации на классе функций {Ф} называется тот алгоритм совокупности алгоритмов {A}, который доставляет минимум указанному критерию качества алгоритма W(Ф,A) на классе функций {Ф}.