Рассмотрим пример, в котором регрессор, объясняющая переменная, наблюдается с ошибкой. Итак, у нас есть зависимость yi = 2 + 3xi + εi, однако xi мы не наблюдаем, xi не наблюдаем. Вместо него мы наблюдаем xi со звёздочкой, который равен xi плюс ошибка наблюдений ui. И мы также предполагаем, что вот эти ошибки — ошибка зависимости y от x и ошибка наблюдений, — они никак с собой не связаны. То есть мы предполагаем, что Cov(εi, xi) = 0, Cov(εi, ui) = 0. Давайте тут напишем j, j. То есть вот эти ковариации равны нулю для любых i и j. И также Cov(ui, xj) = 0. То есть вот эти ошибки, — они ни с чем другим не связаны. Кроме того известно, что дисперсия xi равна 9, дисперсия ui равна 4 и дисперсия εi равна 1. И задача такая: поскольку мы xi не наблюдаем, то, естественно, оценить напрямую эту модель мы не можем. Ну возникает естественный вопрос: а что произойдёт, если вместо настоящего xi, от которого зависит y, я буду использовать неправильно измеренный xi, то есть xi со звёздочкой? То есть я построю, построим регрессию: yi с крышкой равно β1 с крышкой + β2 с крышкой на xi со звёздочкой. Вот вопрос: это β2 с крышкой со звёздочкой — к чему оно будет стремиться при больших n? То есть наша задача, которая нас интересует, — посчитать предел при больших n, предел по вероятности случайной величины оценки β2 с крышечкой. Ну как мы выясняли, предел по вероятности равен пределу по вероятности, — что такое β2 с крышкой? Это выборочная ковариация между зависимой переменной y и регрессора x со звёздочкой делить на выборочную дисперсию x со звёздочкой. И, соответственно, предел в силу закона больших чисел, — этот предел равняется настоящей ковариацией между y и x со звёздочкой i-тыми делить на настоящую дисперсию xi со звёздочкой. Ну и давайте подставим чему она равна. Что такое ковариация yi и xi со звёздочкой? Это есть: в знаменателе у нас находится дисперсия xi + ui, а в числителе у нас находится ковариация yi и, соответственно, xi плюс ui. Также можно подставить что такое yi. Получим Cov (2 + 3xi + εi, xi + ui) делить на Var(xi + ui). И, соответственно, считаем. Кто даёт ковариацию в числителе? xi с xi дают, остальные случайные величины ковариации не дают. Соответственно, мы получаем 3 помножить на Var(xi), а в знаменателе дисперсия суммы равна сумме дисперсий плюс удвоенной ковариации. Но ковариации между xi и ui равны нулю, поэтому мы здесь просто получаем Var(xi) + Var(ui). И мы получили, мы уже сразу видим, что этот результат не равен трём, потому что три домножается на число меньше одного: положительная дисперсия делится на себя саму плюс дисперсию случайной ошибки ui. То есть видно, что результат не будет совпадать, даже при большом количестве наблюдений оценки методом наименьших квадратов дают не коэффициент, который тут стоит, 3, а другой коэффициент. Ну в нашем случае это получится: 3 помножить на 9, делённое на 9 + 4. Получится 27/13. Ну и, соответственно, получится 2 и 1/13. Соответственно, хотя коэффициент равен трём, применение метода наименьших квадратов к y и неправильно померенной объясняющей переменной приведёт к смещённому и несостоятельному результату. Подведём небольшой итог. Мы только что показали, что в модели с ошибкой измерения регрессора, если настоящая зависимость имеет вид yi = β1 + β2xi + εi, но сам xi мы не наблюдаем, а вместо него наблюдаем xi со звёздочкой, и вот мы хотим оценить β2. Что по смыслу показывает β2? β2 показывает, насколько изменится y при изменении настоящего x, скажем, настоящего дохода, на единичку. Однако если мы применим метод наименьших квадратов и оценим регрессию yi на xi со звёздочкой, — ну просто потому, что настоящего x мы не наблюдаем, а наблюдаем xi со звёздочкой, ошибочно померенный xi, — то если мы оценим такую регрессию, то мы получим β2 с крышкой, которое не будет похоже на β2 даже при огромном числе наблюдений. Потому что по смыслу что показывает β2 с крышкой? β2 с крышкой показывает, насколько изменится y, если неправильно измеренный xi со звёздочкой вырастет на единичку. Но понятно, что рост xi со звёздочкой, — он мог быть вызван как ростом настоящего xi, так и ошибкой измерения. Поэтому наш коэффициент β2 с крышкой оказывается чуть меньше по модулю, чем настоящий β2, который нас интересует.
