Практическое занятие №5. Метод наименьших квадратов.
Цель работы: построение уравнений регрессии методом средних и наименьших квадратов.
Теоретическая часть
Уравнение регрессии
Задача линейного регрессионного анализа состоит в том, что зная положение точек на плоскости, так провести линию регрессии, что бы сумма квадратов отклонения вдоль ординаты этих точек от проведенной прямой была минимальной. Можно использовать различные способы (метод наименьших квадратов, метод средних, графический метод). Для проведения вычислений по методы наименьших квадратов к выдвигаемой гипотезе или форме уравнения регрессии выдвигаются следующие требования:
- это уравнение должно быть линейным попараметром или допускать возможность линеаризации.
Пусть уравнение вида
и ,
Это расчетное значение, следовательно, аналитически задачу наименьших квадратов можем выразить
, где
, или
Необходимо вычислить частные производные и прировнять их к нулю. Решая эту системы, находим коэффициенты регрессии b0 и b1. Эта система называется системой нормальных уравнений.
Если подставить в системы значения U и продифференцируем, то получим системы следующего вида
Преобразуем систему нормальных уравнений
Если уравнение вида
, , ,
Метод средних
Данный метод имеет ограниченное применение. Используется только в парных ситуациях y = f(x). Данный метод состоит в следующем – выполнение условия равенства нулю всех отклонений наблюдаемой величины суммы всех отклонений наблюдаемой величины от среднего значения.
, где
, где ,
Преимущество данного метода заключается в его простоте, не накладывает ограничение на исходные опытные данные (например, что бы эти данные имели нормальное распределение).
Если зависимость вида, то для получения нужного количества уравнений выбирают из общего количества пар наблюдений примерно половину и сумму их отклонений приравнивают к нулю, а затем сумму прочих отклонений
,
В итоге получаем систему уравнений вида
, где при четном n и при n нечетном.
Сложив эти два уравнения, получаем уравнение вида
Разделив все члены уравнения на N, получаем
Если представить зависимость в виде
, то коэффициент регрессии можно вычислить по одной из формул
, или
На практике при нечетном N второе из уравнений составляют в виде
Этот прием делает метод средних однозначным.
Если зависимость вида, то
Пример: Произвести регрессионный анализ для выборки, представленной в таблице 5.1 с помощью методов средних и наименьших квадратов.
Таблица 5.1 – Значения выборки
№ | X | Y |
8,81 | ||
7,4 | ||
6,1 | ||
4,89 | ||
3,88 | ||
3,02 | ||
2,3 |
Ход выполнения работы
Вид уравнения | Метод | B0 | B1 | Sост |
1. Y = b1x | Средних | 0,0325 | 5,85 | |
Квадратов | 0,0338 | 5,532 | ||
2. Y = b0+b1x | Средних | -3,555 | 0,0545 | 0,447 |
Квадратов | -3,517 | 0,0544 | 0,438 | |
3. Y = b0x+b1x2 | Средних | 0,00675 | 0,00015 | 0,026 |
Квадратов | 0,00726 | 0,000148 | 0,016 |
Метод средних
1. Y = b1x
Yg = b1x
№ | X | Yg | Yr | Yg-Yr | (Yg-Yr)2 |
8,81 | 7,150 | 1,66 | 2,7556 | ||
7,4 | 6,500 | 0,9 | 0,81 | ||
6,1 | 5,850 | 0,25 | 0,0625 | ||
4,89 | 5,200 | -0,31 | 0,0961 | ||
3,88 | 4,550 | -0,67 | 0,4489 | ||
3,02 | 3,900 | -0,88 | 0,7744 | ||
2,3 | 3,250 | -0,95 | 0,9025 | ||
36,4 | 5,85 |
2. Y = b0+b1x
Для четного делим на две равные системы. Для нечетного центральный элемент включаем в обе системы.:
b0+220b1 = 8,81
b0+200b1 = 7,40
b0+180b1 = 6,10
b0+160b1 = 4,89
_____________
b0+160b1 = 4,89
b0+140b1 = 3,88
b0+120b1 = 3,02
b0+100b1 = 2,30
------------------------------------------- (суммируем)
------------------------------------------- (решаем)
№ | X | Yg | Yr | Yg-Yr | (Yg-Yr)2 |
8,81 | 8,435 | 0,375 | 0,141 | ||
7,4 | 7,345 | 0,055 | 0,003 | ||
6,1 | 6,255 | -0,155 | 0,024 | ||
4,89 | 5,165 | -0,275 | 0,076 | ||
3,88 | 4,075 | -0,195 | 0,038 | ||
3,02 | 2,985 | 0,035 | 0,001 | ||
2,3 | 1,895 | 0,405 | 0,164 | ||
36,4 | 0,447 |
3. Y = b0x+b1x2
Проводим линеаризацию:
Подставляем исходные значения x и y, делим на две системы:
0,040=b0+220*b1
0,037=b0+200*b1
0,034=b0+180*b1
0,030=b0+160*b1
-----------------------
0,030=b0+160*b1
0,027=b0+140*b1
0,025=b0+120*b1
0,023=b0+100*b1
----------------------- Суммируем
--------------------------------Решаем
№ | X | Yg | Yr | Yg-Yr | (Yg-Yr)2 |
8,81 | 8,745 | 0,065 | 0,004 | ||
7,4 | 7,350 | 0,050 | 0,003 | ||
6,1 | 6,075 | 0,025 | 0,001 | ||
4,89 | 4,920 | -0,030 | 0,001 | ||
3,88 | 3,885 | -0,005 | 0,000 | ||
3,02 | 2,970 | 0,050 | 0,003 | ||
2,3 | 2,175 | 0,125 | 0,016 | ||
36,4 | 0,026 |
Метод наименьших квадратов
1. Y = b1x
№ | X | Yg | Yg*X | X2 | Yr | Yg - Yr | (Yg – Yr)2 |
8,81 | 1938,2 | 7,434 | 1,376 | 1,892 | |||
7,4 | 6,759 | 0,641 | 0,411 | ||||
6,1 | 6,083 | 0,017 | 0,000 | ||||
4,89 | 782,4 | 5,407 | -0,517 | 0,267 | |||
3,88 | 543,2 | 4,731 | -0,851 | 0,724 | |||
3,02 | 362,4 | 4,055 | -1,035 | 1,072 | |||
2,3 | 3,379 | -1,079 | 1,165 | ||||
6434,2 | 5,532 |
2.Y = b0+b1x
№ | X | Yg | X2 | XY | Yr | Yg - Yr | (Yg – Yr)2 |
8,81 | 1938,2 | 8,469 | 0,341 | 0,116 | |||
7,4 | 7,379 | 0,021 | 0,000 | ||||
6,1 | 6,290 | -0,190 | 0,036 | ||||
4,89 | 782,4 | 5,200 | -0,310 | 0,096 | |||
3,88 | 543,2 | 4,110 | -0,230 | 0,053 | |||
3,02 | 362,4 | 3,021 | -0,001 | 0,000 | |||
2,3 | 1,931 | 0,369 | 0,136 | ||||
36,4 | 6434,2 | 0,438 |
\
3. Y = b0x+b1x2
0,00726
0,00014834
№ | X | Yg | Yr | Y-Yr | (Y-Yr)2 | |||||
8,81 | 1938,2 | 8,778304 | 0,031696 | 0,001005 | ||||||
7,4 | 7,386897 | 0,013103 | 0,000172 | |||||||
6,1 | 6,114166 | -0,01417 | 0,000201 | |||||||
4,89 | 782,4 | 4,960111 | -0,07011 | 0,004916 | ||||||
3,88 | 543,2 | 3,924732 | -0,04473 | 0,002001 | ||||||
3,02 | 362,4 | 3,008028 | 0,011972 | 0,000143 | ||||||
2,3 | 2,210001 | 0,089999 | 0,0081 | |||||||
6434,2 | 0,016537 |