Невозмущенное движение (установившийся процесс) называется устойчивым, если при заданной сколь угодно малой области ε можно найти такую область η, что при начальных условиях, расположенных внутри этой области, возмущенное движение (переходный процесс) будет таким, что изображающая точка не выйдет из области ε при любом сколь угодно большом значении времени t.

В аналитической записи формулировка понятия устойчивости но Ляпунову будет следующей. Невозмущенное движение (установившийся процесс) будет устойчивым, если при заданных положительных сколь угодно малых числах ε_i можно найти такие положительные числа η_i (i = 1,..., n), что при начальных условиях

решение дифференциальных уравнений возмущенного движения (переходного процесса) удовлетворяют неравенствам при любом сколь угодно большом t, начиная с некоторого t = Т> 0.

Ляпуновым предложено два метода устойчивости НСАР:

первый метод Ляпунова применяется для систем с несущественной нелинейностью. Он основан на линеаризации нелинейности разложением в ряд Тейлора в окрестности некоторой точки и отбрасывании всех членов порядка выше первого. Линейное уравнение, полученное таким образом, называется уравнением в вариациях (в приращениях) или уравнением первого приближения (если учитывать члены второго порядка, то имеем уравнение второго приближения). Ляпунов доказал, что об устойчивости в малом НСАР можно судить по устойчивости линейной САР, описываемой уравнением первого приближения. То есть невозмущённое движение нелинейной системы асимптотически устойчиво, если асимптотически устойчива линейная САР, определяемая соответствующим уравнением первого приближения. Если же линейная САР находится на границе устойчивости, то об устойчивости НСАР ничего нельзя сказать и этот вопрос требует специальных исследований. Таким образом, первый метод Ляпунова сводит НСАР с несущественными нелинейностями к линейным САР, описываемым уравнениями первого приближения, для которых применим весь аппарат линейной теории управления.

Второй метод Ляпунова даёт достаточные условия устойчивости, т.е. граница устойчивости определяется с запасом. Величина этого запаса неизвестна и может быть сколь угодно большой.

Понятие функции Ляпунова. Рассмотрим некоторую функцию координат фазового пространства V (в случае фазовой плоскости V является функцией X и Y, т.е. V(X,Y)).Функция V(X,Y) называется знакопостоянной, если она имеет один и тот же знак повсюду, кроме некоторых точек, в которых она равна нулю. Функция V(X,Y) называется знакопеременной, если при всех значениях переменных она имеет один и тот же знак, а в начале координат равна нулю. Определённо-положительная функция всегда (за исключением начала координат) больше нуля, определённо-отрицательная – всегда меньше нуля. Функции Ляпунова находятся с помощью дифференциального уравнения системы и представляет семейство замкнутых поверхностей в фазовом пространстве системы, уравнения которых (в частном случае фазовой плоскости) имеют вид: V(X,Y)=C. При С стремящемся к нулю поверхность стягивается в точку и V = 0.

Очевидно, что если НСАР устойчива, изображающая точка стремится к состоянию равновесия – началу координат (Рис.1)

При этом по мере движения изображающей точки по фазовой траектории функция V убывает (как видно из Рис. 1, определённо-положительная функция убывает и, следовательно, её производная по времени отрицательна).

Таким образом, соотношение знаков функции V и её производной по времени являются критерием устойчивости НСАР. При этом, если НСАР асимптотически устойчива, изображающая точка стремится к нулю, и, следовательно, производная функции V есть знакоопределённая функция. Если же НСАР имеет неасимптотическую устойчивость, точка равновесия находится в некоторой области вблизи от начала координат, и, следовательно,  знакопостоянная функция.

Таким образом, условия устойчивости по Ляпунову можно сформулировать так:

если существует знакоопределённая функция V, производная которой по времени представляет собой знакопостоянную функцию противоположного с V знака, то невозмущённое движение устойчиво.

Если же  является знакоопределённой функцией противоположного с V знаком, то невозмущённое движение устойчиво асимптотически.

Функции, удовлетворяющие этим требованиям, и называются функциями Ляпунова, а их нахождение и является сутью второго метода Ляпунова.