Градиентом функции () будем называть вектор из частных производных функции. Частная производная -- это предел отношения приращения функции к приращению аргумента только по одной переменной.
Пусть -- точка на построенной прямой, тогда
И в новой записи (производная сложной функции):
Пусть . Тогда Но, исходя из того, что производная по направлению -- проекции градиента на направление , получим . Значит, -- наибольшая, если совпадает с направлением градиента.
Определение 1. Градиент -- вектор, направленный в сторону наибольшего возрастания функции и равный по величине мгновенной скорости возрастания функции.