http://www.aup.ru/files/m743/m743.pdf
стр 49
В этом подразделе мы рассмотрим зависимость выходной пере- менной у от m входных переменных – факторов. Пусть уί – i-e на- блюдение. Тогда в соответствии с линейной регрессионной моделью для уί получаем
yi =α0 +α1 x1i + α2 xi + …+ αm xmi + εi,
где α j, j = 0, 1, …, m– коэффициенты регрессии; εi, j = 1, 2, …, n – случайная ошибка.
Здесь, как и ранее, предполагаем, что случайная ошибка εi удовлетворяет приведенным выше требованиям 1–5. Выборочное уравнение регрессии имеет вид
^y = a0 + a1x1 + a2x2 + … + amxm,
где a0, a1, …, am – выборочные оценки коэффициентов регрессии. Обозначая через a m+1-мерный вектор-столбец выборочных коэф- фициентов регрессии, а через x m+1-мерный вектор-столбец (1, x1, x2, …, xm), уравнение регрессии можно записать в форме ска- лярного произведения
^y = 〈a, x〉.
Введем следующие обозначения: y – вектор-столбец (y1, y2, …, ym); e – вектор-столбец (ε1, ε2, …, εm) ; xk – вектор- столбец (1, x1k, x1k, …, xmk) ; X – матрица размером n × (m+1) , строками которой являются векторы xk.
Тогда совокупность m наблюдений можно записать в матричной форме
y = Xa + e.
Повторяя в точности алгоритм метода наименьших квадратов, приведенный в п. 4.1.1 последовательно получаем:
– вектор ошибок (отклонений)
e = y – Xa;
– сумма квадратов отклонений
Q = (y – Xa)^t (y – Xa);
– условия минимума
X^t Xa =X^t y.
Если матрица X^t X размером (m+ 1) × (m+1) имеет ранг (m+1), то вектор коэффициентов формально определяется выражением
a = (X^t X)^–1 X^t y.
Сформулируем дополнительное условие, которому должна удовлетворять классическая нормальная модель множественной регрессии.
Условие 6.
Столбцы матрицы X должны быть линейно независимы, то есть ее ранг равен m+1. В этом случае матрица X^t X неособенная и имеет обратную матрицу. Заметим также, что для надежности статистиче- ских выводов число наблюдений n должно быть больше числа ис- комых параметров m+1:
n > m+1.
