Возникновение диссипативных структур носит пороговый характер. Неравновесная термодинамика связала пороговый характер с неустойчивостью, показав, что новая структура всегда является результатом раскрытия неустойчивости в результате флуктуаций. Можно сказать о "порядке через флуктуации". С математической точки зрения, неустойчивость и пороговый характер самоорганизации связаны с нелинейностью уравнений. Для линейных уравнений существует одно стационарное состояние, для нелинейных — несколько. Таким образом, пороговый характер самоорганизации связан с переходом из одного стационарного состояния в другое.
Потеря системой устойчивости называется катастрофой. Точнее, катастрофа — это скачкообразное изменение, возникающее при плавном изменении внешних условий. Математическая теория, анализирующая поведение нелинейных динамических систем при изменении их параметров, называется теорией катастроф.
Основой теории катастроф является новая область математики — теория особенностей гладких отображений, являющаяся далеким обобщением задач на экстремум в математическом анализе. Начало было положено в 1955 г. американским математиком Г.Уитни. После работ Р.Тома (давшего теории название) началось интенсивное развитие как самой теории катастроф, так и ее многочисленных приложений. Значение элементарной теории катастроф состоит в том, что она сводит огромное многообразие ситуаций к небольшому числу стандартных схем, которые можно детально исследовать раз и навсегда.
Различают 7 канонических катастроф для функций одной или двух переменных и числа управляющих параметров, не превышающих 5.
Траектория нелинейной динамической системы в многомерном фазовом пространстве ведет себя необычным образом. При определенных условиях существует область, которая притягивает к себе все траектории из окрестных областей. Попадая в нее сколь угодно близкие траектории расходятся и имеют очень сложную и запутанную структуру. Эта область была названа "странным аттрактором" Лоренца. В странном аттракторе Лоренца выбранное наугад решение будет блуждать и со временем пройдет достаточно близко к любой точке аттрактора. По топологии странный аттрактор представляет собой так называемое фрактальное множество, характеризующееся дробной размерностью. Быстрое расхождение двух близких в начальный момент времени траекторий означает очень большую чувствительность решений к малому изменению начальных условий. Этим обусловлена большая трудность или даже невозможность долгосрочного прогноза поведения нелинейных динамических систем.
Теория катастроф определяет область существования различных структур, границы их устойчивости. Для изучения же динамики систем необходимо знать, каким именно образом новые решения уравнений "ответвляются" от известного решения. Ответ на такие вопросы дает теория бифуркаций (разветвлений), то есть возникновения нового решения при критическом значении параметра. Момент перехода (катастрофический скачок) зависит от свойств системы и уровня флуктуаций.
В реальных условиях при углублении неравновесности в открытой системе возникает определенная последовательность бифуркаций, сопровождающаяся сменой структур. Типичным примером такого сценария является развитие турбулентности с чередующимися типами все более усложняющихся движений. Состояние системы в момент бифуркации является неустойчивым и бесконечно малое воздействие может привести к выбору дальнейшего пути. Финальным состоянием эволюционирующих физических систем является состояние динамического хаоса.
Иллюстрацией перехода к нему является логистическое уравнение:

Для наглядности рассмотрим биологическую трактовку этого уравнения: изолированно живет популяция особей нормированной численностью . Через год появляется потомство численностью . Рост популяции описывается первым членом правой части уравнения — где коэффициент с определяет скорость роста и является определяющим параметром. Убыль (за счет перенаселенности, недостатка пищи и т.п.) определяется вторым, нелинейным членом — .
При популяция с ростом вымирает.
В области численность популяции приближается к постоянному значению . Это область стационарных решений.
Затем в диапазоне появляются бифуркации, разветвление кривых на две. Численность популяции колеблется между двумя значениями, лежащими на этих ветвях. Сначала популяция резко возрастает, на следующий год возникает перенаселенность и через год численность снова становится малой. Далее происходит перекрывание областей различных решений, и поведение системы становится хаотическим. Динамические переменные принимают значения, сильно зависящие от начальных. При расчетах на компьютере для близких начальных значений решения могут резко отличаться. Более того, расчеты становятся некорректными, так как начинают зависеть от случайных процессов в самом компьютере. М.Фейгенбаум установил универсальные закономерности перехода к динамическому хаосу при удвоении периода, которые были экспериментально подтверждены для широкого класса механических, гидродинамических, химических и т.д. систем. Наряду с последовательностями удвоений периода (каскадами Фейгенбаума) имеются другие пути перехода к хаосу, когда, например, длительные периоды упорядоченного движения чередуются со вспышками беспорядка.