Значимость коэффициентов регрессии

ВВЕРХ

Главная страница раздела 1

Главная страница раздела 2

Задание 1

Задание 2

Литература

Для доступа к меню нажмите правую кнопку мыши.

ЛЕКЦИЯ 7

Определение доверительных интервалов для коэффициентов и функции регрессии.
Доверительный интервал для функции регрессии.
Доверительный интервал для параметра σ ².
Пример.
Оценка значимости множественной регрессии.
Коэффициенты детерминации R² и .
Пример.
Вопросы для самопроверки.

Определение доверительных интервалов для коэффициентов и функции регрессии

В силу соотношения

, оценка

дисперсии

коэффициента регрессии b_j определяется по формуле

, где s² — несмещённая оценка параметра σ²;

— диагональный элемент матрицы (X ^T·X)^-1. Среднее квадратическое отклонение (стандартная ошибка) коэффициента регрессии b_j примет вид

. Значимость коэффициента регрессии b_j можно проверить, если учесть, что статистика

имеет t – распределение Стьюдента с k = n – p – 1 степенями свободы. Поэтому b_j значимо отличается от нуля на уровне значимости α, если

где t_{α; n - p - 1} — табличное значение t – критерия Стьюдента, определённое на уровне значимости α при числе степеней свободы k = n – p – 1.
В общей постановке гипотеза Н₀ о равенстве параметра β_j заданному числу β_j0, то есть Н₀: β_j = β_j0, отвергается. Если

, параметры уравнения значимы, и доверительным интервалом для параметров β_j будет

Доверительный интервал для функции регрессии

Наряду с интервальным оцениванием коэффициентов регрессии весьма важным для оценки точности определения зависимой переменной (прогноза) является построение доверительного интервала для функции регрессии или для условного математического ожидания зависимой переменной М_х(Y), найденного в предположении, что объясняющие переменные Х₁, Х₂,..., Х_p приняли значения, задаваемые вектором X'₀ = (l, x_l0, х₂₀, ... x_р0).
Выше такой интервал получен для уравнения парной регрессии. Обобщая соответствующие выражения на случай множественной регрессии, можно получить доверительный интервал для М_Х(Y):

, где ŷ — групповая средняя, определяемая по уравнению регрессии,

, — ее стандартная ошибка.
Аналогичный доверительный интервал для индивидуальных значений зависимой переменной y₀^* примет вид:

, где

Доверительный интервал для параметра σ ²

Доверительный интервал для параметра σ ² в множественной регрессии строится аналогично парной модели по формуле с соответствующим изменением числа степеней свободы критерия χ ²

Пример

По данным рассматриваемого примера оценить доход компании с оборотом капитала x₁ = 40,3 млн. руб. и используемым капиталом х₂ = 20,2 млн. руб.; найти 95%-ные доверительные интервалы для индивидуального и среднего значений дохода компании. Проверить значимость коэффициентов регрессии и построить для них 95%-ные доверительные интервалы. Найти интервальную оценку для дисперсии σ ².
Решение. В примере уравнение регрессии получено в виде

. По условию надо оценить M_x(Y), где Х^T₀ = (1; 40,3; 20,2). Выборочной оценкой М_Х(Y) является групповая средняя, которую найдем по уравнению регрессии:

. Для построения доверительного интервала для М_х(Y) необходимо знать дисперсию его оценки

. Для ее вычисления обратимся к таблице (точнее к ее двум последним столбцам, при составлении которых учтено, что групповые средние определяются по полученному уравнению регрессии).

	y	х₁	х₂	x₁²	x₂²	y ²	x₁ x₂	x₁ y	x₂ y	ŷ	e	e ²
1	3	18	6,5	324	42,25	9	117	54	19,5	1,84825	1,15175	1,327
2	3,3	16,7	15,4	278,89	237,16	10,89	257,18	55,11	50,82	3,2189	0,0811	0,007
3	3,6	16,2	13,3	262,44	176,89	12,96	215,46	58,32	47,88	2,91485	0,68515	0,469
4	5,5	53,1	27,1	2819,61	734,41	30,25	1439,01	292,05	149,05	4,10615	1,39385	1,943
5	3	35,3	16,4	1246,09	268,96	9	578,92	105,9	49,2	2,923	0,077	0,006
6	2,7	93,6	25,4	8760,96	645,16	7,29	2377,44	252,72	68,58	2,8783	− 0,1783	0,032
7	2,4	31,5	12,5	992,25	156,25	5,76	393,75	75,6	30	2,42725	− 0,02725	0,001
8	1,8	13,8	6,5	190,44	42,25	3,24	89,7	24,84	11,7	1,94905	− 0,14905	0,022
9	1,6	30,4	15,8	924,16	249,64	2,56	480,32	48,64	25,28	2,9503	− 1,3503	1,823
10	0,9	31,3	18,9	979,69	357,21	0,81	591,57	28,17	17,01	3,39525	− 2,49525	6,226
11	6,5	107,9	50,4	11642,41	2540,16	42,25	5438,16	701,35	327,6	6,2976	0,2024	0,041
12	3,6	16,2	13,3	262,44	176,89	12,96	215,46	58,32	47,88	2,91485	0,68515	0,469
Σ	37,9	464	221,5	28683,38	5627,23	146,97	12193,97	1755,02	844,5			12,366
средн	3,16	38,67	18,46	2390,28	468,94	12,25	1016,16	146,25	70,38
	b₀	1,302
	b₁	− 0,024
	b₂	0,1505

Теперь по по формуле (18)

и s = √1,37 = 1,17 (млн. руб.). Определяем стандартную ошибку групповой средней ŷ по формуле

. Вначале найдем

Теперь

По таблице приложений при числе степеней свободы k = 12 − 2 − 1 = 9 находим t_{0,05; 9} = 2,262. Доверительный интервал для М_x(Y) равен 3,577 − 2,262·0,35 ≤ M_x(Y) ≤ 3,577 + 2,262·0,35 или 2,79 ≤ M_x(Y) ≤ 4,37 (млн. руб.) Итак, с надежностью 0,95 средняя средняя прибыль предприятия с оборотом капитала x₁ = 40,3 млн. руб. и используемым капиталом х₂ = 20,2 млн. руб. будет находиться в пределах от 2,79 до 7,37 (млн. руб.)
Найдем доверительный интервал для индивидуального значения у₀^* при Х^T₀ = (l; 40,3; 20,2):

и 3,577 − 2,262·1,22 ≤ y^*₀ ≤ 3,577 + 2,262·1,22 т.е. 0,82 ≤ y^*₀ ≤ 6,34 (млн. руб.) Итак, с надежностью 0,95 индивидуальное значение прибыли предприятия с оборотом капитала x₁ = 40,3 млн. руб. и используемым капиталом х₂ = 20,2 млн. руб. будет находиться в пределах от 0,82 до 6,34 (млн. руб.)
Проверим значимость коэффициентов регрессии b₁ и b₂. В примере получены b₁ = − 0,024 и b₂ = 0,1505. Стандартная ошибка s _b₁ в равна

. Так как

, то коэффициент b₁ незначим.
Аналогично вычисляем

, т.е. коэффициент b₂ значим на 5% − ном уровне.
Доверительный интервал имеет смысл построить только для значимого коэффициента регрессии b₂: 0,1505 − 2,262·0,066 < β₂ <0,1505 + 2,262·0,066 , или 1,208·10^-3 < β₂ < 0,3. Итак, с надежностью 0,95 за счет изменения на 1 млн. руб используемого капитала (при неизменном обороте капитала ) доход компании Y будет изменяться в пределах от 1,208·10^-3 до 0,3 (млн. руб.).
Найдем 95% − ный доверительный интервал для параметра σ ². Учитывая, что α = 0,05, найдем по таблице χ ² приложений n − р − 1 = n − 2 − 1 = n − 3 = 9 степенях свободы

;

. Таким образом, по формуле имеем

, или 0,86 ≤ σ² ≤ 6,1 и 0,93 ≤ σ ≤ 2,47. Таким образом, с надежностью 0,95 дисперсия возмущений заключена в пределах от 0,86 до 6,1, а их стандартное отклонение - от 0,93 до 2,47 (млн. руб.).
Формально переменные, имеющие незначимые коэффициенты регрессии, могут быть исключены из рассмотрения. В экономических исследованиях исключению переменных из регрессии должен предшествовать тщательный качественный анализ. Поэтому может оказаться целесообразным все же оставить в регрессионной модели одну или несколько объясняющих переменных, не оказывающих существенного (значимого) влияния на зависимую переменную.

Оценка значимости множественной регрессии

   Как и в случае парной модели, в модели множественной регрессии общая вариация Q — сумма квадратов отклонений зависимой переменной от средней может быть разложена на две составляющие: Q = Q_R + Q_e, где Q_R, Q_e — соответственно сумма квадратов отклонений, обусловленная регрессией, и остаточная сумма квадратов, характеризующая влияние неучтенных факторов.
   Получим более удобные формулы для сумм квадратов Q, Q_R и Q_e, не требующие вычисления значений ŷ_i обусловленных регрессией, и остатков е.
   Для Q имеем

так как

. Далее

, поскольку b^T·X^T·X·b = b^T·X^T·Y.
Наконец,

. Уравнение множественной регрессии значимо, если

, (1) где F_{α;p;n - p - 1} — табличное значение F – критерия Фишера – Снедекора.

Коэффициенты детерминации R² и

Коэффициент детерминации R² является одной из наиболее эффективных оценок адекватности регрессионной модели, мерой качества уравнения регрессии, характеристикой его прогностической силы.
Коэффициент детерминации R² вычисляется соотношением

. (2) Коэффициент детерминации может быть модифицирован:

, или

, где e = Y − X·b, Y = (y, y, … , y), y = (Y − Y) — n – мерные векторы.
   Коэффициент детерминации R² характеризует долю вариации зависимой переменной, обусловленной регрессией или изменчивостью объясняющих переменных; чем ближе R² к единице, тем лучше регрессия описывает зависимость между объясняющими и зависимой переменными.
   Вместе с тем использование только одного коэффициента детерминации R² для выбора наилучшего уравнения регрессии может оказаться недостаточным. Плохо определённая модель регрессии может дать сравнительно высокий коэффициент R².
   Недостатком коэффициента детерминации R² является то, что он увеличивается при добавлении новых объясняющих переменных, хотя это не обязательно означает улучшение качества регрессионной модели. В этом смысле предпочтительнее использовать скорректированный коэффициент детерминации

(3) Или

. (3') Из (3) следует, что чем больше число объясняющих переменных р, тем меньше

по сравнению с R^². В отличие от R² скорректированный коэффициент

может уменьшаться при введении в модель новых объясняющих переменных, не оказывающих существенного влияния на зависимую переменную. Однако даже увеличение скорректированного коэффициента детерминации

при введении в модель новой объясняющей переменной не всегда означает, что ее коэффициент регрессии значим (это происходит только в случае, если соответствующее значение t - статистики больше единицы (по абсолютной величине), т. е. | t | > 1. Другими словами, увеличение

еще не означает улучшения качества регрессионной модели.
Если известен коэффициент детерминации, то критерий значимости (1) уравнения регрессии может быть записан в виде:

, где k₁ = p, k₂ = n – p – 1, поскольку в уравнении множественной регрессии вместе со свободным членом оценивается m = p + 1 параметров.

Пример

По данным примера определить множественный коэффициент детерминации и проверить значимость полученного уравнения регрессии Y no X₁ и Х₂ на уровне α = 0,05.
Решение. Вычислим произведения векторов:

(см. итоговую строку таблицы). Из таблицы находим

и по формуле (2) находим множественный коэффициент детерминации

.    Коэффициент детерминации R² = 0,54 свидетельствует о том, что вариация исследуемой зависимой переменной Y - дохода компании на 54% объясняется изменчивостью включенных в модель объясняющих переменных - оборота капитала Х₁ и используемого капитала Х₂.
   Проделав аналогичные расчеты по данным примера для одной объясняющей переменной Х₂, можно было получить R'² =0,5 (заметим, что в случае одной объясняющей переменной коэффициент детерминации R'² равен квадрату парного коэффициента корреляции r²). Сравнивая значения R² и R'², можно сказать, что добавление второй объясняющей переменной Х₂ незначительно увеличило величину коэффициента детерминации, определяющего качество модели.
   По формуле (3) вычислим скорректированный коэффициент детерминации: при р = 1

; при р = 2

. Видим, что скорректированный коэффициент детерминации не увеличился при добавлении объясняющей переменной Х₁, но это еще не говорит о незначимости коэффициента b₁.
Зная R²=0,54, проверим значимость уравнения регрессии. Фактическое значение критерия по (1):

больше табличного F_0,05;2;9= 4,26, определенного на уровне значимости α = 0,05 при k₁ = p = 2 и k₂ = 12 − 2 − l = 9 степенях свободы, т. е. уравнение регрессии значимо, следовательно, исследуемая зависимая переменная Y достаточно хорошо описывается включенными в регрессионную модель переменными Х₁ и Х₂.

Вопросы для самопроверки

Сформулируйте теорему Гаусса – Маркова.
Какой критерий используется для проверки значимости регрессии?
Как находятся коэффициенты детерминации в множественном регрессионном анализе?
Какой вид имеет критерий значимости уравнения регрессии, если известен коэффициент детерминации?
Как находится стандартная ошибка коэффициентов регрессии?
Как проверяется значимость коэффициентов уравнений регрессии?
Что называется частной корреляцией?

Имеются следующие данные о выработке литья на одного работающего Х₁ (т), браке литья Х₂ (%) и себестоимости 1 т литья Y (руб.) по 25 литейным цехам заводов:

i	1	2	3	4	5	6	7	8	9	10	11	12	13	14	15	16	17	18	19	20	21	22	23	24	25
x_1i	14,6	13,5	21,5	17,4	44,8	111,9	20,1	28,1	22,3	25,3	56,0	40,2	40,6	75,8	27,6	88,4	16,6	33,4	17,0	33,1	30,1	65,2	22,6	33,4	19,7
x_2i	4,2	6,7	5,5	7,7	1,2	2,2	8,4	1,4	4,2	0,9	1,3	1,8	3,3	3,4	1,1	0,1	4,1	2,3	9,3	3,3	3,5	1,0	5,2	2,3	2,7
y_i	239	254	262	251	158	101	259	186	204	198	170	173	197	172	201	130	251	195	282	196	186	176	238	204	205

Необходимо:

а) найти множественный коэффициент детерминации и пояснить его смысл;
б) найти уравнение множественной регрессии Y по Х₁ и Х₂, оценить значимость этого уравнения и его коэффициентов на уровне α = 0,05;
в) сравнить раздельное влияние на зависимую переменную каждой из объясняющих переменных, используя стандартизованные коэффициенты регрессии и коэффициенты эластичности;
г) найти 95%-ные доверительные интервалы для коэффициентов регрессии, а также для среднего и индивидуальных значений себестоимости 1 т литья в цехах, в которых выработка литья на одного работающего составляет 40 т, а брак литья - 5%.

Имеются следующие данные о годовых ставках месячных доходов по трем акциям за шестимесячный период:

Акция	Доходы по месяцам, %
А В С	5,4 6,3 9,2	5,3 6,2 9,2	4,9 6,1 9,1	4,9 5,8 9,0	5,4 5,7 8,7	6,0 5,7 8,6

Есть основания предполагать, что доходы Y по акции С зависят от доходов Х₁ и Х₂ по акциям A и В. Необходимо:

а) составить уравнение регрессии Y по Х₁ и Х₂;
б) найти множественный коэффициент детерминации R² и пояснить его смысл;
в) проверить значимость полученного уравнения регрессии на уровне α = 0,05;
г) оценить средний доход по акции С, если доходы по акциям А и В составили соответственно 5,5 и 6,0%.

ЛЕКЦИЯ 7

Определение доверительных интервалов для коэффициентов и функции регрессии

Доверительный интервал для функции регрессии

Доверительный интервал для параметра σ ²

Пример

Оценка значимости множественной регрессии

Коэффициенты детерминации R2 и

Пример

Вопросы для самопроверки

Коэффициенты детерминации R² и