Линейная регрессия от одного фактора

Уравнение линии регрессии на плоскости в декартовых координатах имеет вид выражения b₀+b_1x.

Задачу метода наименьших квадратов аналитически можно выражается:

Для решения этой задачи, как известно из математического анализа, необходимо вычислить частные производные функции Ф по коэффициентам b₀, b₁ и приравнять их нулю:

(4.14)

Система нормальных уравнений (4.8) в этом случае:

Решение этой системы относительно b₀ и b₁ дает:

т.е. для расчета b₀ и b₁ необходимо определить ∑x_i , ∑y_i, ∑x_iy_i, ∑(x_i)².

Коэффициент b₀ (свободный член уравнения регрессии) геометрически представляет собой расстояние от начала координат до точки пересечения линии регрессии с осью ординат, а коэффициент b₁ характеризует тангенс угла наклона линии регрессии к оси OX.

Если же определяют уравнение регрессии в виде:

b₀+b_1x+

то система уравнений для нахождения b₀, b₁, b₁₁ будет иметь следующий вид:

Из уравнений (4.15) и (4.16б) вытекает правило записи любых систем нормальных уравнений: необходимо записать столько уравнений в системе, сколько неизвестных коэффициентов содержится в искомом уравнении, всякий раз суммируя произведения членов исходного уравнения на переменную при искомом коэффициенте.

Оценку силы линейной связи осуществляют по выборочному (эмпирическому) коэффициенту парной корреляции r_xy. Выборочный коэффициент корреляции может быть вычислен двумя способами.

1. Как частный случай корреляционного отношения для линейного уравнения регрессии.

С учетом того, что

(4.17)

величина отношения /S_y будет равна:

r_xy=b₁S_x/S_y (4.18)

S_x и S_y — выборочные средние квадратичные отклонения.

2. Как среднее значение произведения центрированных случайных величин, отнесенное к произведению их среднеквадратичных отклонений:

Покажем, что две последние формулы эквивалентны. Для этого преобразуем выражение (4.19) к виду:

S_xS_y

Подставляя последнее выражение в формулу (4.16а), имеем:

b₁= , откуда

Как правило, по результатам экспериментов находят S_x, S_y, , и рассчитывают r_xy по формуле (4.19), а затем, используя эти величины, определяют коэффициенты уравнения регрессии:

b₁=r_xyS_y/S_x; b₀= (4.20)

Коэффициент корреляции r_xy изменяется в пределах -1£ r_xy £+1.

Положительная корреляция между случайными величинами характеризует такую стохастическую зависимость между величинами, когда с возрастанием одной из них другая в среднем также будет возрастать. При отрицательной корреляции с возрастанием одной случайной величины другая в среднем будет уменьшаться. Чем ближе значение r_xy к единице, тем теснее статистическая связь.

Для оценки качества подбора линейной функции рассчитывается квадрат коэффициента r_xy называемый коэффициентом детерминации R² = (r_xy.)².

Коэффициент детерминации R² характеризует долю дисперсии результативного признака y, объясняемую регрессией. Соответствующая величина 1 – R² характеризует долю дисперсии у, вызванную влиянием остальных не учтенных в модели факторов.

Отметим еще раз область применимости выборочного коэффициента корреляции для оценки тесноты связи.

§ Коэффициент парной корреляции значений y и x применительно к однофакторной зависимости характеризует тесноту группирования данных лишь относительно прямой (например, линия A на рис. 4.8 a). При более сложной зависимости (рис. 4.8 б) коэффициент корреляции r_xy будет оценивать тесноту экспериментальных точек относительно некоторой прямой, обозначенной буквой А, что, естественно, несет мало сведений о тесноте их группирования относительно искомой кривой y = f (x).

§ Коэффициент парной выборочной корреляции имеет четкий физический смысл только в случае двумерного нормального распределения параметров, т.е. когда для каждого значения Х, например х₁, х₂, х₃, существует совокупность нормального распределения у и наоборот, а дисперсия зависимой переменной при изменении значения аргумента остается постоянной (рис. 4.9).

Даже при выполнении этих, вообще говоря, достаточно жестких условий, не всякое значение выборочного коэффициента корреляции является достаточным для статистического обоснования выводов о наличии действительно надежной корреляционной связи между фактором и откликом.

Надежность статистических характеристик ослабевает с уменьшением объема выборки (n). Так, при n = 2 через две экспериментальные точки можно провести только одну прямую и зависимость будет функциональной, при этом выборочный коэффициент корреляции равен единице (r_xy = 1), но это не означает надежность полученных статистических характеристик в силу весьма и весьма ограниченного объема выборки. Следовательно, вычислять коэффициент корреляции по результатам двух наблюдений бессмысленно, так как он заведомо будет равен единице, и это будет обусловлено не свойствами переменных и их взаимным отношением, а только числом наблюдений. В связи с этим требуется проверка того, насколько значимо отличается выборочный коэффициент корреляции r_xy от его действительного значения r_xy*. При достаточно большом объеме выборки n®¥ r_xy*= r_xy. Таким образом, требуется проверка значимости выборочного коэффициента парной корреляции и оценка его доверительного интервала.

Для определения значимости r_xy сформулируем нулевую гипотезу Н₀: r_xy*= 0, т.е. корреляция отсутствует. Для этого рассчитывается экспериментальное значение t-критерия Стьюдента

t= (4.21)

и сравнивается с теоретическим при числе степеней свободы n-2.

Если t ≥ t_α;n-2 при заданном уровне значимости α, то нулевая гипотеза отклоняется, а альтернативная гипотеза Н₁: r_xy* ≠ 0, о том, что коэффициент корреляции существенен, принимается.

Определение доверительного интервала коэффициента корреляции. При малых объемах выборки (n < 20) можно рекомендоватьпостроение доверительного интервала для r_xy*, которое основано напреобразовании Р. Фишера. Он предложил такое нелинейное преобразование величины r_xy, при котором закон распределения этой оценки, вообще говоря, довольно сложный, практически приближаетсяк нормальному. Это преобразование производится по формуле:

Z^*= (4.22)

Среднеквадратичное отклонение случайной величины Z* зависит от числа опытов

(4.23)

а математическое ожидание очень близко к числу, получающемуся после подстановки в формулу (4.22) вместо r_xy истинного значения коэффициента корреляции r_xy*. Эти свойства величины Z* позволяют просто оценить, в каких пределах может находиться истинное значение коэффициента корреляции, если по n опытам получены некоторые значения его выборочного значения (оценки) r_xy. Если граничное значение r_xy имеет тот же знак, что и r_xy*, то можно считать в первом приближении, что корреляционная связь между переменными достоверна.