Уравнение множественной регрессии

 

Уравнение множественной регрессии.

Уравнение множественной регрессии может быть представлено в виде:

Y = f(β , X) + ε

где X = X(X₁, X₂, ..., X_m) - вектор независимых (объясняющих) переменных; β - вектор параметров (подлежащих определению); ε - случайная ошибка (отклонение); Y - зависимая (объясняемая) переменная.

теоретическое линейное уравнение множественной регрессии имеет вид:

Y = β₀ + β₁X₁ + β₂X₂ + ... + β_mX_m + ε

β₀ - свободный член, определяющий значение Y, в случае, когда все объясняющие переменные X_j равны 0.

 

Прежде чем перейти к определению нахождения оценок коэффициентов регрессии, необходимо проверить ряд предпосылок МНК.

Предпосылки МНК.

1. Математическое ожидание случайного отклонения ε_i равно 0 для всех наблюдений (M(ε_i) = 0).

2. Гомоскедастичность (постоянство дисперсий отклонений). Дисперсия случайных отклонений ε_i постоянна: D(ε_i) = D(ε_j) = S² для любых i и j.

3. отсутствие автокорреляции.

4. Случайное отклонение должно быть независимо от объясняющих переменных: Y_eixi = 0.

5. Модель является линейное относительно параметров.

6. отсутствие мультиколлинеарности. Между объясняющими переменными отсутствует строгая (сильная) линейная зависимость.

7. Ошибки ε_i имеют нормальное распределение. Выполнимость данной предпосылки важна для проверки статистических гипотез и построения доверительных интервалов.

 

Эмпирическое уравнение множественной регрессии представим в виде:

Y = b₀ + b₁X₁ + b₁X₁ + ... + b_mX_m + e

Здесь b₀, b₁, ..., b_m - оценки теоретических значений β₀, β₁, β₂, ..., β_m коэффициентов регрессии (эмпирические коэффициенты регрессии); e - оценка отклонения ε.

При выполнении предпосылок МНК относительно ошибок ε_i, оценки b₀, b₁, ..., b_m параметров β₀, β₁, β₂, ..., β_m множественной линейной регрессии по МНК являются несмещенными, эффективными и состоятельными (т.е. BLUE-оценками).

 

Для оценки параметров уравнения множественной регрессии применяют МНК.

1. Оценка уравнения регрессии.

Определим вектор оценок коэффициентов регрессии. Согласно методу наименьших квадратов, вектор s получается из выражения:

s = (X^TX)^-1X^TY

Матрица X

 

 

1	0.33	84	12.9
1	0.34	128	18.7
1	0.44	235	41.3
1	0.32	127	37
1	0.47	195	53.6
1	0.6	252	55.5
1	0.61	356	66
1	0.47	352	108.4
1	0.74	502	193.2
1	2.47	1674	324.7

 

 

Матрица Y

 

 

15.2
22.3
35
39.7
54.6
57.3
78.6
102.6
269.3
375

 

 

Матрица X^T

 

 

1	1	1	1	1	1	1	1	1	1
0.33	0.34	0.44	0.32	0.47	0.6	0.61	0.47	0.74	2.47
84	128	235	127	195	252	356	352	502	1674
12.9	18.7	41.3	37	53.6	55.5	66	108.4	193.2	324.7

 

 

Умножаем матрицы, (X^TX)

 

 

10	6.77	3905	911.3
6.77	8.31	5336.54	1133.29
3905	5336.54	3501243	744506.7
911.3	1133.29	744506.7	168406.89

 

 

В матрице,  (X^TX) число 10, лежащее на пересечении 1-й строки и 1-го столбца, получено как сумма произведений элементов 1-й строки матрицы X^T и 1-го столбца матрицы X

Умножаем матрицы,  (X^TY)

 

 

1049.6

1320.29

869520.1

199734.9

 

 

Находим обратную матрицу (X^TX)^-1

 

 

0.95	-4.54	0.00762	-0.00828
-4.54	27.49	-0.0454	0.0404
0.00762	-0.0454	8.0E-5	-8.9E-5
-0.00828	0.0404	-8.9E-5	0.000171

 

 

Вектор оценок коэффициентов регрессии равен

s = (X^TX)^-1X^TY = 

 

 

-24.25

99.35

-0.23

1.68

 

 

Уравнение регрессии (оценка уравнения регрессии)

Y = -24.25 + 99.35X₁-0.23X₂ + 1.68X₃

2. Матрица парных коэффициентов корреляции.

Число наблюдений n = 10. Число независимых переменных в модели равно 3, а число регрессоров с учетом единичного вектора равно числу неизвестных коэффициентов. С учетом признака Y, размерность матрицы становится равным 5. Матрица, независимых переменных Х имеет размерность (10 х 5).

Матрица, составленная из Y и X

 

 

1	15.2	0.33	84	12.9
1	22.3	0.34	128	18.7
1	35	0.44	235	41.3
1	39.7	0.32	127	37
1	54.6	0.47	195	53.6
1	57.3	0.6	252	55.5
1	78.6	0.61	356	66
1	102.6	0.47	352	108.4
1	269.3	0.74	502	193.2
1	375	2.47	1674	324.7

 

 

Транспонированная матрица.

 

 

1	1	1	1	1	1	1	1	1	1
15.2	22.3	35	39.7	54.6	57.3	78.6	102.6	269.3	375
0.33	0.34	0.44	0.32	0.47	0.6	0.61	0.47	0.74	2.47
84	128	235	127	195	252	356	352	502	1674
12.9	18.7	41.3	37	53.6	55.5	66	108.4	193.2	324.7

 

 

Матрица A^TA.

 

 

10	1049.6	6.77	3905	911.3
1049.6	239646.08	1320.29	869520.1	199734.9
6.77	1320.29	8.31	5336.54	1133.29
3905	869520.1	5336.54	3501243	744506.7
911.3	199734.9	1133.29	744506.7	168406.89

 

 

Полученная матрица имеет следующее соответствие:

 

∑n	∑y	∑x1	∑x2	∑x3
∑y	∑y2	∑x1 y	∑x2 y	∑x3 y
∑x1	∑yx1	∑x1 2	∑x2 x1	∑x3 x1
∑x2	∑yx2	∑x1 x2	∑x2 2	∑x3 x2
∑x3	∑yx3	∑x1 x3	∑x2 x3	∑x3 2

Найдем парные коэффициенты корреляции.

 

Признаки x и y	∑xi		∑yi		∑xiyi
Для y и x1	6.77	0.68	1049.6	104.96	1320.29	132.03
Для y и x2	3905	390.5	1049.6	104.96	869520.1	86952.01
Для y и x3	911.3	91.13	1049.6	104.96	199734.9	19973.49
Для x1  и x2	3905	390.5	6.77	0.68	5336.54	533.65
Для x1  и x3	911.3	91.13	6.77	0.68	1133.29	113.33
Для x2  и x3	911.3	91.13	3905	390.5	744506.7	74450.67