МНК

Теоретические сведения

Аппроксимация (от лат. approximare – приближаться) – замена одних математических объектов другими, в том или ином смысле близкими к исходным. Аппроксимация позволяет исследовать числовые характеристики и качественные свойства объекта, сводя задачу к изучению более простых или более удобных объектов (например, таких, характеристики которых легко вычисляются или свойства которых уже известны). Роль аппроксимации в математике непрерывно возрастает. В настоящее время ее можно рассматривать как одно из основных понятий математики.

В 1794 г. (по другим данным - в 1795 г.) К. Гаусс разработал метод наименьших квадратов, один из наиболее распространенных статистических методов, и применил его при расчете орбиты астероида Церера для борьбы с ошибками астрономических наблюдений.

МНК применяют :

1. В регрессионном  анализе, представляющем собой статистический метод исследования зависимости между зависимой переменной и одной или несколькими независимыми переменными. Независимые переменные  называют регрессорами (или предикторами), а зависимые — критериальными. МНК в регрессионном анализе используют  как метод построения моделей на основе зашумленных экспериментальных данных , содержащих случайные ошибки, при этом обычно оценивают погрешность, с которой были вычислены её параметры. Классический пример  обработки статистического материала — выделение сигнала на фоне помех.
2.  Для приближённого представления заданной функции другими

(более простыми) функциями.

1.  Для  построения эмпирических формул. Формулы для аналитического представления опытных данных называются эмпирическими. Эмпирическую формулу строят на основании таблицы значений и известного характера зависимости .

Например,  пусть в результате некоторого эксперимента получена таблица значений функции y = f(x) :

Требуется выразить эту зависимость аналитически. Подбор эмпирических формул по данным результатов эксперимента не ставит своей целью восстановить истинный характер зависимости между имеющимися переменными, так как восстановить функцию по конечному числу ее значений – задача в общем случае неразрешимая. Характер зависимости между переменными величинами иногда известен из теоретических соображений или устанавливается на основании характера расположения на координатной плоскости точек, соответствующих опытным данным. Тогда задача подбора эмпирической формулы сводится к определению числовых значений параметров, входящих в эту формулу:

y = F(x, a0, a1,…,am), где a0, a1,…,am  – неизвестные параметры.

Числовые параметры подбирают так, чтобы полученная кривая достаточно хорошо соответствовала исходным данным.

Таким образом, нужно указать критерий, согласно которому та или иная кривая является достаточно “хорошим” приближением к исходным данным. Обозначим через у/i значения функции, вычисленные по эмпирической формуле в заданных точках хi, т.е.

y/i = F(xi, a0, a1, …, am), .

Назовем разности

уклонениями («невязками») эмпирической  формулы  от исходных данных.

Вопрос о том, является ли кривая достаточно “хорошим” приближением к экспериментальным данным, можно сформулировать следующим образом: какое условие необходимо наложить на уклонения  точек от кривой, чтобы эта кривая представляла экспериментальные данные достаточно хорошо? На практике в таких случаях чаще всего применяют метод наименьших квадратов, т.е . находят  параметры а0, а1, …, аm, при которых сумма квадратов уклонений

принимает минимальное значение. Параметры а0, а1,…,аm находим из условия обращения в минимум выражения

.

Отсюда, учитывая необходимые условия существования экстремума функции нескольких переменных, получаем систему из  уравнений для определения неизвестных а0, а1, …, аm :

    .

Если система  имеет единственное решение, то оно будет искомым.

Таким образом, для нахождения минимума  необходимо приравнять частные производные к нулю и решить систему уравнений.

При выборе произвольного m-параметрического класса решение полученной системы может быть  неразрешимой задачей, поэтому в большинстве случаев используют линейные классы функций, элементы которых представимы в виде

.

При этом  – фундаментальный набор функций.

Например, класс полинома