Уравнение множественной регрессии

 

Признаки x и y					***
Для y и x1	0.37	12948.01	0.61	113.79	0.88
Для y и x2	197634.05	12948.01	444.56	113.79	0.91
Для y и x3	8536.01	12948.01	92.39	113.79	0.99
Для x1  и x2	197634.05	0.37	444.56	0.61	0.99
Для x1  и x3	8536.01	0.37	92.39	0.61	0.92
Для x2  и x3	8536.01	197634.05	92.39	444.56	0.95

Матрица парных коэффициентов корреляции.

 

-	y	x1	x2	x3
y	1	0.88	0.91	0.99
x1	0.88	1	0.99	0.92
x2	0.91	0.99	1	0.95
x3	0.99	0.92	0.95	1

Коллинеарность - зависимость между факторами. В качестве критерия мультиколлинеарности может быть принято соблюдение следующих неравенств:

r(x_jy) > r(x_kx_j) ; r(x_ky) > r(x_kx_j).

Если одно из неравенств не соблюдается, то исключается тот параметр x_k или x_j, связь которого с результативным показателем Y оказывается наименее тесной.

Для отбора наиболее значимых факторов x_i учитываются следующие условия:

- связь между результативным признаком и факторным должна быть выше межфакторной связи;

- связь между факторами должна быть не более 0.7. Если в матрице есть межфакторный коэффициент корреляции r_xjxi > 0.7, то в данной модели множественной регрессии существует мультиколлинеарность.;

- при высокой межфакторной связи признака отбираются факторы с меньшим коэффициентом корреляции между ними.

Если факторные переменные связаны строгой функциональной  зависимостью, то говорят о полной мультиколлинеарности. В этом случае среди столбцов матрицы факторных переменных Х имеются линейно зависимые столбцы, и, по свойству определителей матрицы, det(X^TX = 0).

Вид мультиколлинеарности, при котором факторные переменные связаны некоторой стохастической зависимостью, называется частичной. Если между факторными переменными имеется высокая степень корреляции, то матрица (X^TX) близка к вырожденной, т. е. det(X^TX ≧ 0) (чем ближе к 0 определитель матрицы межфакторной корреляции, тем сильнее мультиколлинеарность факторов и ненадежнее результаты множественной регрессии).

Вычисление определителя показано в шаблоне решения Excel

В нашем случае r_{x1 x2} , r_{x1 x3} , r_{x2 x3} имеют |r|>0.7, что говорит о мультиколлинеарности факторов и о необходимости исключения одного из них из дальнейшего анализа.

Анализ первой строки этой матрицы позволяет произвести отбор факторных признаков, которые могут быть включены в модель множественной корреляционной зависимости. Факторные признаки, у которых |r_yxi| < 0.5 исключают из модели. Можно дать следующую качественную интерпретацию возможных значений коэффициента корреляции (по шкале Чеддока): если |r|>0.3 - связь практически отсутствует; 0.3 ≤ |r| ≤ 0.7 - связь средняя; 0.7 ≤ |r| ≤ 0.9 - связь сильная; |r| > 0.9  - связь весьма сильная.

Проверим значимость полученных парных коэффициентов корреляции с помощью t-критерия Стьюдента. Коэффициенты, для которых значения t-статистики по модулю больше найденного критического значения, считаются значимыми.

Рассчитаем наблюдаемые значения t-статистики для r_yx1 по формуле:

 

где m = 1 - количество факторов в уравнении регрессии.

 

По таблице Стьюдента находим Tтабл

t_крит(n-m-1;α/2) = (8;0.025) = 2.306

Поскольку t_набл > t_крит, то отклоняем гипотезу о равенстве 0 коэффициента корреляции. Другими словами, коэффициент корреляции статистически - значим

Рассчитаем наблюдаемые значения t-статистики для r_yx2 по формуле:

 

Поскольку t_набл > t_крит, то отклоняем гипотезу о равенстве 0 коэффициента корреляции. Другими словами, коэффициент корреляции статистически - значим

Рассчитаем наблюдаемые значения t-статистики для r_yx3 по формуле:

 

Поскольку t_набл > t_крит, то отклоняем гипотезу о равенстве 0 коэффициента корреляции. Другими словами, коэффициент корреляции статистически - значим

Таким образом, связь между (y и x_x1 ), (y и x_x2 ), (y и x_x3 ) является существенной.

Наибольшее влияние на результативный признак оказывает фактор x₃ (r = 0.99), значит, при построении модели он войдет в регрессионное уравнение первым.

Частные коэффициенты корреляции.

Коэффициент частной корреляции отличается от простого коэффициента линейной парной корреляции тем, что он измеряет парную корреляцию соответствующих признаков (y и x_i) при условии, что влияние на них остальных факторов (x_j) устранено.

На основании частных коэффициентов можно сделать вывод об обоснованности включения переменных в регрессионную модель. Если значение коэффициента мало или он незначим, то это означает, что связь между данным фактором и результативной переменной либо очень слаба, либо вовсе отсутствует, поэтому фактор можно исключить из модели.

*

*

Теснота связи не сильная

Определим значимость коэффициента корреляции r_{yx1 /x2} .

Для этого рассчитаем наблюдаемые значения t-статистики по формуле:

 

где k = 1 - число фиксируемых факторов.

 

По таблице Стьюдента находим Tтабл

t_крит(n-k-2;α/2) = (7;0.025) = 2.365

Поскольку t_набл < t_крит, то принимаем гипотезу о равенстве 0 коэффициента корреляции. Другими словами, коэффициент корреляции статистически - не значим

Как видим, связь y и x₁  при условии, что x₂  войдет в модель, снизилась. Отсюда можно сделать вывод, что ввод в регрессионное уравнение x₁  остается нецелесообразным.

*

*

Теснота связи умеренная

Определим значимость коэффициента корреляции r_{yx1 /x3} .

Для этого рассчитаем наблюдаемые значения t-статистики по формуле:

 

 

Поскольку t_набл < t_крит, то принимаем гипотезу о равенстве 0 коэффициента корреляции. Другими словами, коэффициент корреляции статистически - не значим

Как видим, связь y и x₁  при условии, что x₃  войдет в модель, снизилась. Отсюда можно сделать вывод, что ввод в регрессионное уравнение x₁  остается нецелесообразным.

*

*

Теснота связи умеренная

Определим значимость коэффициента корреляции r_{yx2 /x1} .

Для этого рассчитаем наблюдаемые значения t-статистики по формуле:

 

 

Поскольку t_набл < t_крит, то принимаем гипотезу о равенстве 0 коэффициента корреляции. Другими словами, коэффициент корреляции статистически - не значим

Как видим, связь y и x₂  при условии, что x₁  войдет в модель, снизилась. Отсюда можно сделать вывод, что ввод в регрессионное уравнение x₂  остается нецелесообразным.

*

*

Теснота связи умеренная

Определим значимость коэффициента корреляции r_{yx2 /x3} .

Для этого рассчитаем наблюдаемые значения t-статистики по формуле:

 

 

Поскольку t_набл < t_крит, то принимаем гипотезу о равенстве 0 коэффициента корреляции. Другими словами, коэффициент корреляции статистически - не значим

Как видим, связь y и x₂  при условии, что x₃  войдет в модель, снизилась. Отсюда можно сделать вывод, что ввод в регрессионное уравнение x₂  остается нецелесообразным.

*

*

Теснота связи сильная

Определим значимость коэффициента корреляции r_{yx3 /x1} .

Для этого рассчитаем наблюдаемые значения t-статистики по формуле:

 

 

Поскольку t_набл > t_крит, то отклоняем гипотезу о равенстве 0 коэффициента корреляции. Другими словами, коэффициент корреляции статистически - значим

Как видим, связь y и x₃  при условии, что x₁  войдет в модель, снизилась. Отсюда можно сделать вывод, что ввод в регрессионное уравнение x₃  остается нецелесообразным.

*

*

Теснота связи сильная

Определим значимость коэффициента корреляции r_{yx3 /x2} .

Для этого рассчитаем наблюдаемые значения t-статистики по формуле:

 

 

Поскольку t_набл > t_крит, то отклоняем гипотезу о равенстве 0 коэффициента корреляции. Другими словами, коэффициент корреляции статистически - значим

Как видим, связь y и x₃  при условии, что x₂  войдет в модель, снизилась. Отсюда можно сделать вывод, что ввод в регрессионное уравнение x₃  остается нецелесообразным.

Можно сделать вывод, что при построении регрессионного уравнения следует отобрать факторы x₁ , x₂ , x₃  .

Модель регрессии в стандартном масштабе.

Модель регрессии в стандартном масштабе предполагает, что все значения исследуемых признаков переводятся в стандарты (стандартизованные значения) по формулам:

 

где х_ji - значение переменной х_ji в i-ом наблюдении.

 

Таким образом, начало отсчета каждой стандартизованной переменной совмещается с ее средним значением, а в качестве единицы изменения принимается ее среднее квадратическое отклонение S.

Если связь между переменными в естественном масштабе линейная, то изменение начала отсчета и единицы измерения этого свойства не нарушат, так что и стандартизованные переменные будут связаны линейным соотношением:

t_y = ∑β_jt_xj

Для оценки β-коэффциентов применим МНК. При этом система нормальных уравнений будет иметь вид:

r_x1y=β₁+r_x1x2*β₂ + ... + r_x1xm*β_m

r_x2y=r_x2x1*β₁ + β₂ + ... + r_x2xm*β_m

...

r_xmy=r_xmx1*β₁ + r_xmx2*β₂ + ... + β_m

Для наших данных (берем из матрицы парных коэффициентов корреляции):

0.878 = β₁ + 0.993β₂ + 0.916β₃

0.909 = 0.993β₁ + β₂ + 0.946β₃

0.99 = 0.916β₁ + 0.946β₂ + β₃

Данную систему линейных уравнений решаем методом Гаусса: β₁ = 0.533; β₂ = -0.91; β₃ = 1.363; 

Стандартизированная форма уравнения регрессии имеет вид:

y⁰ = 0.533x₁ -0.91x₂ + 1.363x₃ 

Найденные из данной системы β-коэффициенты позволяют определить значения коэффициентов в регрессии в естественном масштабе по формулам:

 

 

3. Анализ параметров уравнения регрессии.

Перейдем к статистическому анализу полученного уравнения регрессии: проверке значимости уравнения и его коэффициентов, исследованию абсолютных и относительных ошибок аппроксимации

Для несмещенной оценки дисперсии проделаем следующие вычисления:

Несмещенная ошибка ε = Y - Y(x) = Y - X*s (абсолютная ошибка аппроксимации)

 

 

Y	Y(x)	ε = Y - Y(x)	ε2	(Y-Yср)2
15.2	10.22	4.98	24.76	8056.86
22.3	10.8	11.5	132.24	6832.68
35	33.54	1.46	2.12	4894.4
39.7	39.57	0.13	0.0162	4258.87
54.6	67.09	-12.49	156.1	2536.13
57.3	69.62	-12.32	151.71	2271.48
78.6	64	14.6	213.09	694.85
102.6	122.21	-19.61	384.72	5.57
269.3	256.75	12.55	157.4	27007.64
375	375.77	-0.77	0.6	72921.6
		0	1222.76	129480.06