Метод покоординатного спуска.

Минимизация функций нескольких переменных. Метод спуска

Министерство путей сообщения РФ

Дальневосточный государственный университет

Путей сообщения

 

Кафедра «Прикладная математика»

Курсовая работа

По численным методам

«Минимизация функций нескольких переменных.

Метод спуска.»

 

Выполнили: Косолапов А.Г. Терехов А.А.

Проверил: Смагин С.И.

Хабаровск 2003

Содержание:

I. Методы спуска (Общая схема) ­_________________________ 3

II. Метод покоординатного спуска._____________________ 4

III. Метод градиентного спуска.________________________________ 7

IV. Метод наискорейшего спуска.______________________________ 9

V. Описание программы._____________________________________10

VI. Общая блок схема.________________________________________ 11

VII. Руководство для пользования.______________________________12

VIII. Приложение А (Листинг программы)__________________________13

IX. Приложение B

(Исследование функции U=A*x1^3+B*x2^2-C*x1-D*x2 (изменение шага))_____ 25

 

 

 

Методы спуска

Общая схема

Все методы спуска решения задачи безусловной минимизации различаются либо выбором направления спуска, либо способом движения вдоль направления спуска. Это позволяет написать общую схему методов спуска.

Решается задача минимизации функции j(x) на всём пространстве E_n. Методы спуска состоят в следующей процедуре построения последовательности {x_k}. В качестве начального приближения выбирается любая точка x₀ÎE_n. Последовательные приближения x₁, x₂, … строятся по следующей схеме:

1) в точке x_k выбирают направление спуска - S_k;

2) находят (k+1)-е приближение по формуле x_k+1=x_k-h_kS_k.

Направление S_k выбирают таким образом, чтобы обеспечить неравенство f(x_k+1)<f(x_k) по крайней мере для малых значений величины h_k. На вопрос, какому из способов выбора направления спуска следует отдать предпочтение при решении конкретной задачи, однозначного ответа нет.

Число h_k определяет расстояние от точки x_k до точки х_k+1. Это число называется длиной шага или просто шагом. Основная задача при выборе величины h_k - это обеспечить выполнение неравенства j(x_k+1)<j(x_k).

Величина шага сильно влияет на эффективность метода. Большей эффективностью обладает вариант метода, когда шаг по каждой переменной определяется направляющими косинусами градиента(в градиентных методах).

x_k+1=x_k-h_k cos

где - cos =

В этом случаи величина рабочего шага не зависит от величины модуля градиента, и ею легче управлять изменением h. В районе оптимума может возникать значительное «рыскание», поэтому используют различные алгоритмы коррекции h.

Наибольшее распространение получили следующие алгоритмы:

1. (без коррекции);

2. если ; если

3. , если ; , если ; ,если ,

где –угол между градиентами на предыдущем и текущем шаге;

и – заданные пороговые значения выбираются субъективно

(например, ).

Вдали от оптимума направление градиента меняется мало, поэтому шаг можно увеличить (второе выражение), вблизи от оптимума направление резко меняется (угол между градиентами R(x) большой), поэтому h сокращается (третье выражение).

Метод покоординатного спуска.

Пусть нужно найти наименьшее значение целевой функции

u=f(M)=f(x ₁, x ₂ ,...,x_n). Здесь через М обозначена точка n-мерного пространства с координатами x ₁, x ₂ ,...,x_n: M=(x ₁, x ₂ ,...,x_n). Выберем какую-нибудь начальную точку М ₀ = (x ₁⁰, x ₂⁰ ,...,x_n⁰) и рассмотрим функцию f при фиксированных значениях всех переменных, кроме первой: f(x ₁, x ₂⁰ ,x ₃⁰ ,...,x_n⁰). Тогда она превратится в функцию одной переменной x ₁. Изменяя эту переменную, будем двигаться от начальной точки x ₁ =x ₁⁰ в сторону убывания функции, пока не дойдем до ее минимума при x ₁ =x ₁¹, после которого она начинает возрастать. Точку с координатами (x ₁¹, x ₂⁰ ,x ₃⁰ ,...,x_n⁰) обозначим через М ₁, при

этом f(M₀) >= f(M ₁ ).

Фиксируем теперь переменные: x ₁ =x ₁¹, x ₃ = x ₃⁰ ,...,x_n=x_n⁰ и рассмотрим функцию f как функцию одной переменной x ₂: f(x ₁¹, x ₂², x ₃⁰ ...,x_n⁰). Изменяя x ₂, будем опять двигаться от начального значения x₂=x₂⁰ в сторону убывания функции, пока не дойдем до минимума при x₂=x₂¹. Точку с координатами

{ x ₁¹, x ₂¹, x ₃⁰ ... x_n⁰ } обозначим через М ₂, при этом f(M₁) >= f(M ₂ ).

Проведем такую же минимизацию целевой функции по переменным

x ₃, x ₄ ,...,x_n. Дойдя до переменной x_n, снова вернемся к x ₁ и продолжим процесс. Эта процедура вполне оправдывает название метода. С ее помощью мы построим последовательность точек М ₀, М ₁, М ₂,..., которой соответствует монотонная последовательность значений функции

f(M₀) >= f (M ₁ ) >= f(M ₂ ) >= Обрывая ее на некотором шаге k можно приближенно принять значение функции f(M_k) за ее наименьшее значение в рассматриваемой области.

Проведем такую же минимизацию целевой функции по переменным x ₃, x ₄ ,...,x_n. Дойдя до переменной x_n, снова вернемся к x ₁ и продолжим процесс. Эта процедура вполне оправдывает название метода. С ее помощью мы построим последовательность точек М ₀, М ₁, М ₂,..., которой соответствует монотонная последовательность значений функции

f(M₀) >= f(M ₁ ) >= f(M ₂ ) >=... Обрывая ее на некотором шаге k можно приближенно принять значение функции f(M_k) за ее наименьшее значение в рассматриваемой области. Отметим, что данный метод сводит задачу поиска наименьшего значения функции нескольких переменных к многократному решению одномерных задач оптимизации. Если целевая функция f(x ₁, x ₂ ,...,x_n) задана явной формулой и является дифференцируемой, то мы можем вычислить ее частные производные и использовать их для определения направления убывания функциипо каждой переменной и поиска соответствующих одномерных минимумов. В противном случае, когда явной формулы для целевой функции нет, одномерные задачи следует решать с помощью одномерных методов

На рис.изображены линии уровня некоторой функции двух переменных u= f (х, у). Вдоль этих линий функция сохраняет постоянные значения, равные 1, 3, 5, 7, 9. Показана траектория поиска ее наименьшего значения, которое достигается в точке О, с помощью метода покоординатного спуска. При этом нужно ясно понимать, что рисунок служит только для иллюстрации метода.

Пусть требуется решить задачу (2):

f(x) min, х ÎRⁿ. (2)

В двумерном пространстве R².Решение задачи (2) методом покоординатного спуска, иначе называемого методом Гаусса - Зейделя, производят по следующей общей схеме.
Выбирают произвольно начальную точку х⁽⁰⁾ из области определения функции f(х). Приближения х^(k) определяются соотношениями

(3): x^(k+1)=x^(k)+t^(k)S^(k) (k=0,1,2,...),

где вектор направления спуска s^(k)- это единичный вектор, совпадающий с каким-либо координатным направлением (например, если S^(k) параллелен х₁, то S^(k)= {1,0,0,...,0}, если он параллелен x₂, то S^(k)={0, 1, 0,...,0} и т.д.); величина t^(k) является решением задачи одномерной минимизации:
f(x^(k)+ts^(k)) min, t ÎR¹, (k=0,1,2,...),
и может определяться, в частности, методом сканирования.
Детальная реализация общей схемы в двумерном случае R² дает траекторий приближения к точке х* методом покоординатного спуска, состоящую из звеньев ломаной, соединяющих точки х^(k), x₁~^(k) x^(k+1) (k=0, 1, 2,). При k=0, исходя из начальной точки х⁽⁰⁾= ( x₁⁽⁰⁾,x₂⁽⁰⁾ ), находят точку х~⁽⁰⁾= (x₁~⁽⁰⁾,x₂⁽⁰⁾), минимума функции одной переменной f(x₁,x₂⁽⁰⁾); при этом f(x~⁽⁰⁾)<=f(x⁽⁰⁾).Затем находят точку минимума x⁽¹⁾ функции f (x₁~⁽⁰⁾,x₂) по второй координате. Далее делают следующий шаг вычислений при k=1. Полагают, что исходной точкой расчета является х⁽¹⁾. Фиксируя вторую координату точки х⁽¹⁾, находят точку минимума х~⁽¹⁾= (x₁~⁽¹⁾,x₂⁽¹⁾), функции f(x₁,x₂⁽¹⁾) одной переменной x⁽¹⁾; при этом f(x~⁽¹⁾)<=f(x⁽¹⁾)<=f(x⁽⁰⁾). Точку х⁽²⁾ получают, минимизируя целевую функцию f(x₁~⁽¹⁾,x₂), вновь по коорданате х₂, фиксируя координату x₁~⁽¹⁾ ,точки x⁽¹⁾ , и т.д.
Условием прекращения вычислительной процедуры при достижении заданной точности e может служить неравенство
||x^(k+1) - x^(k) ||<e (4)

Блок-схема поиска минимума функции двух переменных методом покоординатного спуска.