Типы экспериментов

Отношение суммы квадратов относительно регрессии  к полной сумме квадратов (SSR/SST) обозначается термином объясненная доля дисперсии  зависимой переменной (y) в регрессионной  модели.

Таким образом, эта доля эквивалентна значению R-квадрат (0 R-квадрат 1, так называемому квадрату смешанной корреляции (коэффициенту определенности- coefficient of determination в англоязычной литературе)). Даже если распределение зависимой переменной не является нормальным, это отношение помогает оценить, насколько хорошо подобранная модель согласуется с исходными данными.

 

Критерий согласия хи-квадрат. Для регрессионных моделей пробит и логит, Нелинейное оценивание использует оценивание по методу максимума правдоподобия (т.е. максимизирует функцию правдоподобия). Но оказывается, что можно непосредственно сравнить правдоподобие L0 нулевой модели, где все параметры наклона равны нулю, с правдоподобием L1 подогнанной модели. А именно, можно вычислить значение статистики хи-квадрат для нашего отношения по формуле:

Хи-квадрат = -2 * (log(L0) - log(L1))

Число степеней свободы для этого значения хи-квадрат  равно разности числа параметров для подогнанной и числа параметров для нулевой моделей, поэтому  число степеней свободы будет  равно числу независимых переменных в подогнанной логит или пробит регрессии.

Если p-уровень, соответствующий этому значению хи-квадрат, является значимым, то вы можете сказать, что оцениваемая модель значительно лучше соответствует данным, чем нулевая модель, т.е. параметры регрессии статистически значимы.

 

График наблюдаемых и предсказанных  значений. При проведении исследований часто полезным бывает использование диаграммы рассеяния наблюдаемых и предсказанных значений. Если модель хорошо соответствует данным, можно ожидать, что точки расположатся вдоль прямой линии, если же модель задана неправильно, то полученная из точек на графике фигура будет мало похожа на прямую линию.

 

Нормальный и полунормальный графики  остатков. Нормальный вероятностный график остатков показывает насколько распределение остатков (ошибок) близко к нормальному.

 

График функции подгонки. Для моделей, включающих две или три переменные (один или два предиктора) полезно строить функцию подгонки с использованием окончательных оценок параметров. Посмотрите на пример 3М графика с двумя предикторными переменными.

Этот  тип графика предоставляет хорошую  возможность проверить, подходит ли модель к данным или нет, и где расположены явные выбросы.

Ковариационная  матрица оценок параметров. Если подобранная  модель сильно отличается от реальной, или процедура оценивания “застряла” на локальном минимуме, ошибки для оценок параметров могут получиться очень большими. Это означает, что как бы мы не меняли конечные значения параметров, полученная в результате функция потерь практически не изменится. Кроме того, параметры могут оказаться сильно коррелированными.

Это говорит  о том, что некоторые параметры  излишни. Поэтому изменение функции потерь при изменении оценивающим алгоритмом полученного значения одного параметра может быть практически скомпенсировано перемещением другого параметра и изучение совместного влияния этих параметров на функцию потерь оказывается излишним.

 

1.2. Метод Гаусса-Ньютона

Метод Ньютона-Гаусса — это итерационный численный  метод нахождения решения задачи наименьших квадратов. Является разновидностью метода Ньютона. В общих чертах, этот метод использует матрицу Якобиана J производных первого порядка функции F для нахождения вектора x значений параметра, который минимизирует остаточные суммы квадратов (сумму квадратных отклонений предсказанных значений от наблюдаемых). Усовершенствованная и полезная версия метода — это так называемый метод Левенберга-Марквардта.

 

Описание метода

В методе наименьших квадратов подлежащая минимизации  функция f(x) представляет собой сумму  квадратов.

Под  имеется ввиду следующий вектор-столбец:

Подобного типа задачи широко распространены и  имеют ряд практических применений, особенно при подборе модельной функции для некого набора данных, т.е. подбор нелинейных параметров. Пусть   - матрица Якоби для функции , то есть

, где  из

Выбирая некоторое начальное значение  последовательные приближения находят следующим образом:

 

Обоснование метода

Связь с итерационным методом Ньютона

Пусть необходимо найти экстремум функции многих переменных . Это равносильно нахождению точки . Если для решения этой задачи использовать итерационный метод Ньютона (метод касательных), то формула обновления для  выглядит следующим образом:

Здесь под  имеется ввиду матрица Гесса функции , то есть матрица вторых производных:

Когда рассматривается  задача наименьших квадратов

градиент  и матрица Гесса для функции  принимают особый вид:

, где

Здесь под  имеется ввиду матрица Гесса для функции ( i-ая компонента вектора ).  - матрица Якоби для функции

Если  использовать итерационный процесс  Ньютона для минимизации , то формула для обновления  будет следующая:

Метод Ньютона - Гаусса строится на предположении  о том, что  , то есть слагаемое доминирует над . Также такое приближение возможно при условии, что близко к 0. Это требование не соблюдается, если минимальные невязки велики, то есть если норма сравнима с максимальным собственным значением матрицы . В противном случае пренебрегаем и получаем итерационную процедуру с формулой для обновления :

 

Преимущества и недостатки метода

В стандартном  итерационном методе Ньютона на каждой итерации требуется вычисление и обращение матрицы Гесса, что зачастую является достаточно сложным процессом. В методе Ньютона-Гаусса подобная необходимость отпадает, причем скорость сходимости также может достигать квадратичной, хотя вторые производные и не учитываются. Также данный метод прост в реализации и присутствует в большинстве программных пакетов по прикладной математике. Тем не менее, в методе Ньютона-Гаусса часто встречается ряд проблем в ситуации, когда член второго порядка  значителен по своей величине, что приводит к некорректной работе и медленной сходимости. Улучшением метода Ньютона-Гаусса является алгоритм Левенберга - Марквардта, основанный на эвристических соображениях.

 

 

Связь метода с многомерной линейной регрессией

Пусть задана обучающая выборка объектов и значений , где из , а из . Задача состоит в том, чтобы восстановить отображение . Общий вид отображения будем искать в виде , где — вектор неизвестных параметров из , которые необходимо восстановить. Параметры восстанавливаются таким образом, чтобы функционал .

 Данная  задача может быть решена с  помощью метода Ньютона-Гаусса. Пусть  нам известно i–ое приближение  точки минимума . Рассмотрим более подробно процесс получения приближения . Разложим функцию в ряд Тейлора до первого члена в окрестности точки   : Следующее приближение будем искать таким образом, чтобы функционал .

 Подставляя выражение для , получаем задачу восстановления многомерной линейной регрессии по методу наименьших квадратов. Выпишем ее решение в общем виде:

, где — матрица частных производных, а

.

 Выражая   получаем итерационную формулу из метода Ньютона-Гаусса: .

Таким образом  было показано, что сложную задачу нелинейной регрессии получается свести к серии более простых стандартных задач линейной регрессии, которые решаются на каждой итерации.

 

1.3.Преобразование Хартли

В определение  Хартли для преобразования y (w) в явном виде был включен коэффициент 1/ для получения симметричного выражения. Если опустить этот коэффициент, то оба интеграла одновременно не могут быть корректными. Однако следует признать нецелесообразным сохранение пары таких специфических коэффициентов, особенно при выполнении численных расчетов. Многие авторы отреагировали на подобную ситуацию применительно к преобразованию Фурье рассмотрением функции S(w) вместо S(w).В результате коэффициент 1/ исчезает в определении прямого преобразования Фурье, однако в формуле обратного преобразования Фурье появляется коэффициент 1/2p. Таким образом, эти авторы намеренно жертвуют симметрией формул. Справедливо замечание, что это дополнительная нагрузка для памяти, так как приходится запоминать, какая из формул содержит величину 2p .Один способ запоминания состоит в том, что коэффициент 1/2p стоит перед интегралом, в котором фигурирует дифференциал dw, что означает наличие величины вида w/2p , т. е. циклической частоты f. Отсюда естественно возникает вопрос: почему непосредственно не иметь дело с частотой? Именно к этому выводу в течение многих лет склонялось мнение разных исследователей. Приверженцев использования коэффициента 1/ в настоящее время практически уже нет, тогда как имеется достаточное количество сторонников правомерности записи dw/2p; но общепринятой практикой является применение множителя 2p под знаком экспоненты в интегралах для прямого и обратного преобразований. Данная процедура реализуется автоматически при использовании частоты вме-

 

сто угловой частоты w. При этом имеем

 

Четная и нечетная составляющие

Взаимосвязь преобразований Фурье  и Хартли базируется на анализе свойства симметрии. Для пояснения этого представим в виде четной и нечетной компонент и соответственно. Четная компонента определяется как полусумма функции и ее зеркального изображения, т.е. функции . Нечетная компонента определяется как полуразность этих функций и обладает свойством антисимметрии, а именно . Любая функция может быть представлена однозначно в виде суммы четной и нечетной компонент, и, обратно, при заданных четной и нечетной компонентах однозначно может быть восстановлена исходная функция. Одним из интересных свойств четной и нечетной компонент является равенство суммы их энергий энергии самого процесса.

Для установления связи преобразования с преобразованием Фурье функции примем следующее определение.

Пусть где и - соответственно четная и нечетная составляющие функции . Тогда

Эти два интеграла известны под  названиями соответственно косинус- и синус-преобразование Фурье.

 

 

Формулы связи

При заданной функции  для получения преобразования Фурье можно сформировать сумму :

Таким образом, из легко получить преобразование Фурье колебания V(t) путем формирования зеркального изображения вида и операций суммирования функций. Вещественная часть F(f) равна E(f), а мнимая часть противоположна по знаку функции :

И обратно, из заданного преобразования Фурье F(f) можно получить , заметив, что

,

т.е., исходя из F(f), функция определяется как сумма вещественной части преобразования Фурье и ее мнимой части, взятой с обратным знаком.

Помня о том, что мнимая часть  комплексной величины сама является вещественной, убеждаемся в том, что представляет собой вещественную функцию, как и должно быть при условии, что исходное колебание вещественно. Если бы не было вещественной функцией (в этом случае не могло бы представлять собой напряжение электрического колебания), то , а тем более и также не были бы вещественными. В результате можно резюмировать:

Преобразование Фурье  равно разности четной составляющей преобразования Хартли и нечетной составляющей, умноженной на i; напротив, преобразование Хартли определяется как разность вещественной и мнимой составляющих преобразования Фурье.

 

 

 

Дискретное преобразование Хартли

Хотя мы стремимся рассматривать  время как непрерывную переменную, на практике необходимо использовать дискретную переменную для описания временных рядов, например, когда для вычисления требуется дискретизация этой переменной или в случае накапливания данных на регулярных интервалах. Поэтому введем дискретную переменную τ, которая будет соответствовать времени, но принимать только целочисленные значения от 0 до N - 1. Выбран именно этот интервал, а не [1, N] или [- (N/2) + 1,N/2] в соответствии с общепринятой практикой. Таким образом, прямое дискретное преобразование Фурье (ДПФ) и обратное ему преобразование имеют стандартную форму