ЛЕКЦИЯ 10

ВВЕРХ

Главная страница раздела 1

Главная страница раздела 2

Задание 1

Задание 2

Литература

Для доступа к меню нажмите правую кнопку мыши.

ЛЕКЦИЯ 9

Линейные регрессионные модели с переменной структурой.
Пример 1.
Критерий Г. Чоу.
Пример 2.
Нелинейные модели регрессии.
Частная корреляция.
Значимость коэффициентов корреляции.
Вопросы для самопроверки.

Линейные регрессионные модели с переменной структурой

   На практике часто возникает необходимость исследования влияния качественных признаков, имеющих два или несколько уровней. Например, образование (начальное, среднее, высшее), пол (мужской, женский), фактор сезонности (зима, весна, лето, осень).
   Качественные признаки могут существенно влиять на структуру линейных связей между переменными и приводить к скачкообразному изменению параметров регрессионной модели. В этом случае говорят об исследовании регрессионных моделей с переменной структурой или построении регрессионных моделей по неоднородным данным.
   Качественные признаки могут существенно влиять на структуру линейных связей между переменными и приводить к скачкообразному изменению параметров регрессионной модели, в этом случае говорят об исследовании регрессионных моделей с переменной структурой или построении регрессионных моделей по неоднородным данным.
   Например, нам надо изучить зависимость размера заработной платы Y работников не только от количественных факторов Х₁, Х₂,..., Х_n, но и от качественного признака Z₁ (например, фактора "пол работника").
   В принципе можно было получить оценки регрессионной модели y_i = β₀ + β₁ x_i1 + ... + β_p x_ip + ε_i, i = l,..., n                         (1) для каждого уровня качественного признака (т. е. выборочное уравнение регрессии отдельно для работников-мужчин и отдельно - для женщин), а затем изучать различия между ними (смотри).
   Но есть и другой подход, позволяющий оценивать влияние значений количественных переменных и уровней качественных признаков с помощью одного уравнения регрессии. Этот подход связан с введением так называемых фиктивных переменных.
   В качестве фиктивных переменных обычно используются дихотомические (бинарные, булевы) переменные, которые принимают всего два значения: "0" или "1" (например, значение такой переменной Z₁ по фактору "пол": Z₁ = О для работников-женщин и Z₁ = 1 - для мужчин).
   В этом случае первоначальная регрессионная модель (1) заработной платы изменится и примет вид: y_i = β₀ + β₁ x_i1 + ... + β_p x_ip + α₁ z_i1 + ε_i, i = l,..., n                         (2) где

   Таким образом, принимая модель (2), мы считаем, что средняя заработная плата у мужчин на α₁·1= α₁ выше, чем у женщин, при неизменных значениях других параметров модели. А проверяя гипотезу Н₀: α₁ = 0, мы можем установить сушественность влияния фактора "пол" на размер заработной платы работника.
   Следует отметить, что в принципе качественное различие можно формализовать с помощью любой переменной, принимающей два разных значения, не обязательно "0" или "1". Однако в эконометрической практике почти всегда используются фиктивные переменные типа "0 - 1", так как при этом интерпретация полученных результатов выглядит наиболее просто. Так, если бы в модели (2) в качестве фиктивной выбрали переменяю Z₁, принимающую значения z_i1 = 4 (для работников-мужчин) и z_i2 = l (для женщин), то коэффициент регрессии α₁ при этой переменной равнялся бы 1/(4-1), т. е. одной трети среднего изменения заработной платы у мужчин.
   Если рассматриваемый качественный признак имеет несколько (k) уровней (градаций), то в принципе можно было ввести в регрессионную модель дискретную переменную, принимающую такое же количество значений (например, при исследовании зависимости заработной платы Y от уровня образования Z можно рассматривать k = 3 значения: zz_i1 = l при наличии начального образования, z_i2 = 2 - среднего и z_i3 = 3 при наличии высшего образования). Однако обычно так не поступают из-за трудности содержательной интерпретации соответствующих коэффициентов регрессии, а вводят (k - 1) бинарных переменных.
   В рассматриваемом примере для учета фактора образования можно было в регрессионную модель (2) ввести k - 1 = 3 - 1 = 2 бинарные переменные Z₂₁ и Z₂₂ y_i = β₀ + β₁x_i1 + ... + β_px_ip + α₁z_i1 + α_2l z_i21 +α₂₂ z_i22 + ε_i,                         (3) где

   Третьей бинарной переменной Z₂₃, очевидно, не требуется: если i - й работник имеет начальное образование, это будет отражено парой значений Z_i21 = 0, Z_i22 = 0.
   Более того, вводить третью бинарную переменную Z₂₃ (со значениями Z_i23 = 1, если i - й работник имеет начальное образование; Z_i23 = 0 - в остальных случаях) нельзя, так как при этом для любого i-го работника Z_i21 + Z_i22 + Z_i23 = 1, т. е. при суммировании элементов столбцов общей матрицы плана, соответствующих фиктивным переменным Z_i21, Z_i22, Z_i23, получили бы столбец, состоящий из одних единиц. А так как в матрице плана такой столбец из единиц уже есть, что это первый столбец, соответствующий свободному члену уравнения регрессии), то это означало бы линейную зависимость значений (столбцов) общей матрицы плана X, т. е. нарушило бы преддосылку 6 регрессионного анализа. Таким образом, мы оказались бы в условиях мультиколлинеарности в функциональной форме и как следствие - невозможности получения оценок методом наименьших квадратов.
   Такая ситуация, когда сумма значений нескольких переменных, включенных в регрессию, равна постоянному числу (единице), получила название "ловушки". Чтобы избежать такие ловушки, число вводимых бинарных переменных должно быть на единицу меньше числа уровней качественного признака.
   Рассматриваемые выше регрессионные модели (2) и (3) отражали влияние качественного признака (фиктивных переменных) только на значения переменной Y, т. е. на свободный член уравнения регрессии. В более сложных моделях может быть отражена также зависимость фиктивных переменных на сами параметры при переменных регрессионной модели. Например, при наличии в модели объясняющих переменных - количественной Х₁ и фиктивных Z₁₁, Z₁₂, Z₂₁, Z₂₂, из которых Z₁₁, Z₁₂ влияют только на значение коэффициента при Х₁, a Z₂₁, Z₂₂ - только на величину свободного члена уравнения, такая регрессионная модель примет вид: y_i = β₀ + β₁x_i1 + β₁₁ (z_i11 x_i1) + β₁₂ (z_i12 x_i2) + α₂₁ z_i21 + α₂₂ z_i22 + ε_i, i = 1, …, n.                        (4)    Модели типа (4) используются, например, при исследовании зависимости объема потребления Y некоторого продукта от дохода потребителя X, когда одни качественные признаки (например, сезонности) влияют лишь на количество потребляемого продукта (свободный член уравнения регрессии), а другие (например, уровень доходности домашнего хозяйства) - на параметр β₁ при X, интерпретируемый как "склонность к потреблению".

Пример 1

Исследовать зависимость между результатами письменных вступительных и проверочных экзаменов по математике. Получены данные (Х) о числе решённых на вступительных экзаменах задач (задавалось 10 задач) и проверочных экзаменов (Y) (7 задач), а также распределение этих студентов по фактору «пол».

№ студента	Число решенных задач		Пол студента	№ студента	Число решенных задач		Пол студента
i	x_i	y_i	Пол студента	i	x_i	y_i	Пол студента
1	10	6	муж	7	6	3	жен
2	6	4	жен	8	7	4	муж
3	8	4	муж	9	9	7	муж
4	8	5	жен	10	6	3	жен
5	6	4	жен	11	5	2	муж
6	7	7	муж	12	7	3	жен

Построить линейную регрессионную модель Y по Х с использованием фиктивной переменной по фактору «пол».
Решение. Рассчитаем уравнение парной регрессии Y по Х

. Коэффициент детерминации равен R² = 0,53, т.е. 53% вариации зависимой переменной Y обусловлено регрессией.
По F – критерию

имеем F = 9,46 > F_{0,05; 1; 10} = 4,96, т.е. уравнение регрессии значимо по F – критерию на 5% - ном уровне.
Однако полученное уравнение не учитывает влияние качественного признака – фактора «пол». Для её учёта введём в регрессионную модель фиктивную (бинарную) переменную Z:

Общая матрицы задачи в этом случае имеют вид

. Проводя множественный регрессионный анализ, получим вектор оценок параметров регрессии b^T = (- 1,165; 0,743; 0,466). Так что уравнение множественной регрессии примет вид:

                  (5) Коэффициент детерминации R² = 0,549. Уравнение регрессии значимо по F – критерию на 5% - ном уровне, так как F = 4,48 > F_{0,05; 2; 9} = 4,26.
   Из (5) следует, что при том же числе решенных задач на вступительных экзаменах Х, юноши на проверочных экзаменах в среднем решают на 0,466 задачи больше. (На рисунке) показаны линии регрессии Y по Х для юношей z = 1 ( у = - 0,699 + 0,743·х) и девушек z = 0 ( у = - 1,165 + 0,743·х)
   Эти уравнения отличаются только свободным членом, а соответствующие линии регрессии параллельны.
   Сравнивая значения t – статистики (по абсолютной величине) каждого коэффициента регрессии по формуле

, т. е. t_b₀ = -0,4834, t_b₁ = 14,01887, t_b₂ = 1,151 с критическим значением t_{0,05; 9}= 2,262 определённым по таблице Пирсона на уровне значимости α = 0,05 при числе степеней свободы k = n – 2 – 1 = 9, видим, что значимым оказался только коэффициент регрессии b₁, остальные коэффициенты незначимы, возможно, из-за недостатка объёма выборки.
Найдём выборочные ковариации переменных cov (x, y) = 1,556; cov (z, y) = 0,333; cov (z, x) = 0,2917. Найдём выборочные коэффициенты корреляции r_x,y = 0,728; r_x,z = 0,422; r_y,z = 0,431. Составим матрицу парных коэффициентов корреляции

. Чем ближе определитель матрицы парных коэффициентов к нулю, чем сильнее мультиколлинеарность и ненадёжность результатов множественной регрессии. В рассматриваемом примере det q₃ = 0,371.
Замечание. Если бы в регрессионной модели мы хотедь учесть другие факторы с большим, чем две, числом k_i градаций то, как отмечено выше, следовало бы ввести в модель (k_i - 1) бинарных переменных. Например, если было бы необходимо изучить влияние на результаты курсового экзамена фактора Z₂ - тип учебного заведения, оконченного студентом (школа, техникум, ПТУ), то в регрессионную модель следовало ввести k_i - 1 = 3 - 1 = 2 бинарные переменные Z₂₁ и Z₂₂: y_i = β₀ + β₁ x_i1 + α₁z_i1 + α₂₁z_i21 + α₂₂z_i22 + ε_i, где

Но при этом, конечно, следовало увеличить объем выборки n, так как надежность статистических выводов существенно зависит от отношения объема выборки n к общему числу всех параметров регрессионной модели: чем больше величина отношения n/(р+1), тем точнее соответствующие оценки, тем надежнее статистические выводы.

Критерий Г. Чоу

   Имеются две выборки объёмами n₁ и n₂ пар значений зависимой и объясняющих переменных (х_i, y_i) возможно полученных при разных условиях. Ставится задача об определении однородности выборок в регрессионном смысле. Последнее означает ответ на вопрос– можно ли объединить две выборки в одну и рассматривать единую модель регрессии Y по Х?
   При достаточных объемах выборок можно было, например, построить интервальные оценки параметров регрессии по каждой из выборок и в случае пересечения соответствующих доверительных интервалов сделать вывод о единой модели регрессии. Возможны и другие подходы.
   В случае, если объем хотя бы одной из выборок незначителен, то возможности такого (и аналогичных) подходов резко сужаются из-за невозможности построения сколько-нибудь надежных оценок.
   В критерии (тесте) Г. Чоу эти трудности в существенной степени преодолеваются. По каждой выборке строятся две регрессионные модели:

Согласно критерию Г. Чоу две регрессионные модели можно объединить в одну объёма n = n₁ + n₂

если на уровне значимости α выполняется неравенство

где

остаточные суммы квадратов соответственно для объединённой, первой и второй выборок; n = n₁ + n₂.

Пример 2

Получены данные (Х) о числе решённых на вступительных экзаменах задач (задавалось 10 задач) и проверочных экзаменов (Y) (7 задач). Выборка проведена по n₁ = 6 парам для юношей

x	10	8	7	7	9	5
у	6	4	7	4	7	2

и по n₂ = 6 парам для девушек

x	6	8	6	6	6	7
у	4	5	4	3	3	3

Рассчитаем уравнения регрессии для первой выборки ŷ = - 1 + 0,783 x, для второй выборки ŷ = - 0,048 + 0,571 x. По всем n = n₁ + n₂ = 12 парам наблюдений рассчитаем уравнние регрессии для объединенной выборки ŷ = 0,8145 x - 1,4364.

Далее получим

. Следовательно,

влияние фактора «пол» несущественно, и в качестве оценки регрессионной модели Y по Х можно рассматривать уравнение по объединённой выборке.
Критерий Г. Чоу может быть использован при построении регрессионных моделей при воздействии качественных признаков, когда имеется возможность разделения совокупности наблюдений по степени воздействия этого фактора на отдельные группы и требуется установить возможность использования единой регрессионной модели.
Оценивание регрессии с использованием фиктивных переменных более информативно в том отношении, что позволяет использовать t-критерий для оценки существенности влияния каждой фиктивной переменной на зависимую переменную.

Нелинейные модели регрессии

   До сих пор мы рассматривали линейные регрессионные модели, в которых переменные имели первую степень (модели, линейные по переменным), а параметры выступали в виде коэффициентов при этих переменных (модели, линейные по параметрам). Однако соотношение между социально - экономическими явлениями и процессами далеко не всегда можно выразить линейными функциями, так как при этом могут возникать неоправданно большие ошибки.
   Так, например, нелинейными оказываются производственные функции (зависимости между объемом произведенной продукции и основными факторами производства - трудом, капиталом и т. п.), функции спроса (зависимость между спросом на товары или услуги и их ценами или доходом) и другие.
   Для оценки параметров нелинейных моделей используются два подхода.
   Первый подход основан на линеаризации модели и заключатся в том, что с помощью подходящих преобразований исходных переменных исследуемую зависимость представляют в виде линейного соотношения между преобразованными переменными.
   Второй подход обычно применяется в случае, когда подобать соответствующее линеаризующее преобразование не удается. В этом случае применяются методы нелинейной оптимизации на основе исходных переменных.
   Для линеаризации модели в рамках первого подхода могут использоваться как модели, не линейные по переменным, так и не линейные по параметрам.
   Если модель нелинейна по переменным, то введением новых переменных ее можно свести к линейной модели, для оценки параметров которой использовать обычный метод наименьших квадратов.
   Так, например, если нам необходимо оценить параметры регрессионной модели

, то вводя новые переменные

, получим линейную модель у_i = β₀ + β₁ z_i1 + β₂ z_i2 + ε_i, i = l,..., n, параметры которой находятся обычным методом наименьших квадратов.
Следует, однако, отметить и недостаток такой замены переменных, связанный с тем, что вектор оценок b получается не из условия минимизации суммы квадратов отклонений для исходных переменных, а из условия минимизации суммы квадратов отклонений для преобразованных переменных, что не одно и то же. В связи с этим необходимо определенное уточнение полученных оценок.
Более сложной проблемой является нелинейность модели по параметрам, так как непосредственное применение метода наименьших квадратов для их оценивания невозможно. К числу таких моделей можно отнести, например, мультипликативную (степенную) модель

. (6) Экспоненциальную модель

,                        (7) и другие.
   В ряде случаев путем подходящих преобразований эти модел удается привести к линейной форме. Так, модели (6) и (7), могут быть приведены к линейным логарифмированием обеи частей уравнений. Тогда, например, модель (6) примет вид: ln у_i =ln β₀ + β₁ ln x_i1 + β₂ ln х_i2 +1n ε_i, i = 1,..., n.                        (8)    К модели (8) уже можно применять обычные методы следования линейной регрессии. Однако следует подчеркнуть, что критерии значимости и интервальные оценки параметров, применяемые для нормальной линейной регрессии, требуют, чтобы нормальный закон распределения в моделях (6), (7) имел логарифм вектора возмущений ε (т. е. ln ε ≈ N_n (0, σ²E_n), а вовсе не ε. Другими словами вектор возмущений ε должен иметь логарифмически нормальное распределение.
   Заметим попутно, что к модели

,                        (9) рассматриваемой в качестве альтернативной по отношению к модели (6), изложенные выше методы исследования линейной регрессии уже непригодны, так как модель (9) нельзя привести к линейному виду. В этом случае используются специальные (итеративные) процедуры оценивания параметров.
   В качестве примера использования линеаризирующего преобразования регрессии рассмотрим производственную функцию Кобба-Дугласа Y = A K^α L^β, где Y - объем производства, К - затраты капитала, L - затраты труда.
   Показатели α и β являются коэффициентами частной эластичности объема производства Y соответственно по затратам капитала К и труда L. Это означает, что при увеличении одних только затрат капитала (труда) на 1% объем производства увелится на α% (β%).

Что такое коэффициент частной элластичности

Учитывая влияние случайных возмущении, присущих каждому экономическому явлению, функцию Кобба-Дугласа (10) мохно представить в виде Y = A K^α L^β ε (11) Полученную мультипликативную (степенную) модель легко свести к линейной путем логарифмирования обеих частей уравнения (11). Тогда для i-го наблюдения получим ln y_i = ln A + α ln K_i + β ln L_i + ln ε, i = 1,..., n. (12) Если в модели (11) α + β = 1 (т. е. модель такова, что при расширении масштаба производства - увеличении затрат капитала К и труда L в некоторое число раз - объем производства возрастает в то же число раз) функцию Кобба-Дугласа представляют в виде Y = A K^α L^1-α ε или

. (13) Таким образом, получаем зависимость производительности труда (Y/L) от его капиталовооруженности (K/L). Для оценки параметров модели (13) путем логарифмирования приводим ее к виду (для i-го наблюдения) ln(Y/L), = 1n A + α ln (K/L), +ln ε_i, i= 1,..., n. (14) Функция Кобба-Дугласа с учетом технического прогресса имеет вид: Y = A K^α L^β e^{θ t}ε, (15) где t – время; параметр θ - темп прироста объема производства благодаря техническому прогрессу. Модель (15) приводится к линейному виду аналогично модели (16).

Частная корреляция

Выше для оценки тесноты связи между переменными был введен выборочный коэффициент линейной корреляции. Если переменные коррелируют друг с другом, то на значении коэффициента корреляции частично сказывается влияние других переменных. В связи с этим часто возникает необходимость исследовать частную корреляцию между переменными при исключении (элиминировании) влияния одной или нескольких переменных.
Выборочным частичным коэффициентом корреляции между переменными Х_i (зависимые переменные) и Х_j (объясняющие переменные) при фиксированных значениях остальных (р – 2) (объясняющих) переменных называется выражение

, где q _ii и q _jj — алгебраические дополнения элементов r _ii и r _jj матрицы выборочных коэффициентов корреляции

а r _ij определяются по формулам

. В частности, в случае трёх переменных выборочные частичные коэффициенты корреляции имеют вид

. (17) Поясним полученную формулу (17). Предположим, что имеется обычная регрессионная модель х_j = β₀ + β₁ x_j + β₂ x_k + ε_i и необходимо оценить корреляцию между зависимой переменной X_i и объясняющей переменной X_j - при исключении влияния другой объясняющей переменной Х_k. С этой целью найдем уравнения парной регрессии X_i по Х_k (x_i ' = b_o + b₁x_k) и X_j no X_k (x_i ' = b'₀ + b'x_k), а затем удалим влияние переменной Х_k, взяв остатки е_{х_i} = х_i - х'_i, е_{х_j} = х_j - х'_j. Очевидно, что коэффициент корреляции между остатками е_{х_i} и е_{х_j} будет отражать тесноту частной корреляции между переменными X_i и X_j при исключении влияния переменной Х_k. Можно показать, что найденный по формуле

обычный коэффициент корреляции между остатками е_{х_i} и е_{х_j} равен частному коэффициенту корреляции r_ij,k, определенному по формуле (17).
Частный коэффициент корреляции r_ij,12...р, как и парный коэффициент r_ij, может принимать значения от -1 до + 1. Кроме того, r_ij,12...р, вычисленный на основе выборки объема n, имеет такое же распределение, как и r_ij, вычисленный по n'= n - р + 2 наблюдениям. Поэтому значимость частного коэффициента корреляции r_ij,12...р оценивают так же, как и обычного коэффициента корреляции r, но при этом полагают n' = n - р + 2.

Значимость коэффициентов корреляции

Коэффициент корреляции r значим на уровне α, если

, где t _{α; n - 2} — табличное значение t — критерия Стьюдента, определённое на уровне значимости α при числе степеней свободы n – 2.

Вопросы для самопроверки

Сформулируйте общую постановку регрессионного анализа с переменной структурой.
В чём состоит критерий Г. Чоу?

Имеются следующие данные о потреблении некоторого продукта Y (усл. ед.) в зависимости от уровня урбанизации (доли городского населения) Х₁, относительного образовательного уровня X₂ и относительного заработка Х₃ для девяти географических районов:

i- номер района	x_i1	x_i2	x_i3	y	i- номер района	x_i1	x_i2	x_i3	y
1	42,2	11,2	31,9	167,1	6	44,5	10,8	8,5	174,6
2	48,6	10,6	13,2	174,4	7	39,1	10,7	24,3	163,7
3	42,6	10,6	28,7	160,8	8	40,1	10,0	18,6	174,5
4	39,0	10,4	26,1	162,0	9	45,9	12,0	20,4	185,7
5	34,7	9,3	30,1	140,8

Используя пошаговую процедуру отбора наиболее информативных объясняющих переменных, определить подходящую регрессионную модель, исключив при этом мультиколлинеарность. Оценить значимость коэффициентов регрессии полученной модели по t-критерию.

. Имеются следующие данные о весе Y (в фунтах) и возрасте X (в неделях) 13 индеек, выращенных в областях А, В, С.

i	x_i	y_i	Область происхождения	i	x_i	y_i	Область происхождения
1 2 3 4 5 6 7	28 20 32 22 29 27 28	12,3 8,9 15,1 10,4 13,1 12,4 13,2	A A A A B B B	8 9 10 11 12 13	26 21 27 29 23 25	11,8 11,5 14,2 15,4 13,1 13,8	B C C C C C

Есть основание полагать, что на вес индеек оказывает влияние не только их возраст, но и область происхождения. Необходимо:

а) найти уравнение парной регрессии Y по X и оценить его значимость;
б) введя соответствующие фиктивные переменные, найти общее уравнение множественной регрессии Y по всем объясняющим переменным (включая фиктивные);
в) оценить значимость общего уравнения множественной регрессии по F-критерию и значимость его коэффициентов по t-критерию на уровне α = 0,05;
г) проследить за изменением скорректированного коэффициента детерминации при переходе от парной к множественной регрессии;
д) оценить на уровне α = 0,05 значимость различия между свободными членами уравнений, получаемых из общего уравнения множественной регрессии У для каждой области.