Название метода можно было бы понимать буквально, если бы речь шла о минимизации функции цели. Тем не менее, по традиции такое название используется и при решении задачи на максимум. Метод в основном применяется для вычисления глобального экстремума в условиях отсутствия ограничений. Идея данного метода основана на том, что градиент функции указывает направление ее наискорейшего возрастания в окрестности той точки, в которой он вычислен.
Поэтому, если из некоторой текущей точки 
перемещаться в направлении вектора градиента функции, вычисленного в данной точке 
, то функция f будет возрастать, по крайней мере, в некоторой окрестности . Следовательно, можно записать рекуррентную формулу
, (1)
где 
- шаг итерации. Его выбор представляет самостоятельную задачу, но достаточно часто его назначают в пределах 
и затем уточняют.
Метод реализуется по следующей схеме:
1) задают первоначальную точку отсчета (для успешного решения задачи начальная точка должна быть максимально приближена к предполагаемому экстремуму);
2) вычисляют значения частных производных в начальной точке;
3) вычисляют значение функции в начальной точке;
4) по параметрам начальной точки вычисляют градиент функции;
5) по формуле (1) получают координаты новой точки;
6) проверяют выполнение условия: если удовлетворяются условия уравнения 
, то процесс прекращают, в противном случае возвращаются к пункту 2.
Пример применения метода. Вычислить максимальное значение функции
при точности вычислений 
.
Решение.
Шаг 1. Вычислим градиент функции:
; 
Возьмем в качестве первого приближения точку 
, т.е. 
. Тогда значение функции в этой точке 
, а вектор-строка градиента функции равен 
.
Шаг 2. Выберем шаг итерации 
и рассчитаем параметры следующей точки:
,
.
Вычислим значение функции цели в новой точке и определим степень приближения:
.
Так как заданная точность не достигнута, продолжим итерационный процесс.
Шаг 3. Градиент функции в новой точке будет определяться вектор-строкой 
. Рассчитаем параметры следующей точки:
,
.
Значение функции цели в исследуемой точке и степень приближения равны:
,
.
Шаг 4. Продолжим вычисления. В точке 
градиент функции будет иметь вектор-строку: 
. Рассчитываем параметры третьей точки итерации:
,
.
Функция цели в третьей точке примет значение
.
Соответственно полученная точность:
.
Тогда в пределах заданной точности ответ следующий:
, 
.
Если точность недостаточна, процесс итерации следует продолжить. Теоретическое решение данной задачи: 
, 
(получено с использованием теоремы Куна –Таккера)
В градиентных методах успех решения и достигаемая точность существенно зависит от двух основных факторов:
- параметров начальной точки движения (она должна быть максимально приближена к предполагаемому экстремуму);
- величины множителя λ.
Если нарушается требование по начальной точке движения, то в этом случае метод может увести процесс итерации от ожидаемого экстремума и задача вообще не будет решена. Если же наблюдается несоответствие по второму требованию, т.е. λ будет слишком велико, то задача также может не иметь решения, так как зона нахождения экстремума не обнаруживается. В свою очередь стремление уменьшить λ существенно увеличивает число шагов расчетного процесса.