Типы экспериментов

L = F(Y,Модель) = in= 1 {p [yi, Параметры модели(xi)]}

Теоретически, вы можете вычислить вероятность  принятия зависимой переменной определенных значений(обозначенную нами L, от слова Likelihood - правдоподобие), используя соответствующую  регрессионную модель.

Воспользовавшись  тем, что все наблюдения независимы друг от друга, получим, что наша функция  правдоподобия равна геометрической сумме (, для всех i = 1 to n) вероятностей конкретных наблюдений (i), заданных соответствующей значению x моделью и параметрами. (Геометрическая сумма означает, что нужно перемножить вероятности по всем возможным случаям внутри скобок.) Часто эти функции представляют в виде натурального логарифма, в этом случае геометрическая сумма становится обычной арифметической суммой (, для всех i = 1 to n).

При выборе конкретной модели, чем больше правдоподобие  модели, тем больше вероятность, что  предсказанное значение зависимой  переменной окажется в выборке.

Поэтому, чем больше правдоподобие, тем лучше  модель согласуется с выборочными  данными. Реальные вычисления для конкретной модели могут оказаться достаточно громоздкими, поскольку вам необходимо “отслеживать” (вычислять) вероятности появления различных значений зависимой переменной y (выбрав модель и соответствующее значение x).

Оказывается, что если все предположения для  стандартной множественной регрессии выполнены (они описаны в главе Множественная регрессия руководства пользователя), то стандартный метод наименьших квадратов (см. выше) дает те же оценки, что и метод максимума правдоподобия. Если предположение о постоянстве дисперсии ошибки при всех значения независимой переменной нарушено, то оценки по методу максимума правдоподобия можно получить используя метод взвешенных наименьших квадратов.

 

Максимум правдоподобия и пробит/логит  модели. Рассмотрим функцию правдоподобия для регрессионных моделей логит и пробит. Функция потерь для этих моделей вычисляется как сумма натуральных логарифмов логит или пробит правдоподобия L1:

log(L1) = in= 1 [yi*log(pi ) + (1-yi )*log(1-pi )]

где

log(L1) натуральный  логарифм функции правдоподобия  для выбранной (логит или пробит) модели

yi - i-ое  наблюдаемое значение

pi  вероятность  появления (предсказанная или  подогнанная) (между 0 и 1)

Логарифм  функции правдоподобия для нулевой  модели (L0), т.е. модели, содержащей только свободный член (и не включающей других коэффициентов регрессии) вычисляется как:

log(L0) = n0*(log(n0/n)) + n1*(log(n1/n))

где

log(L0) натуральный  логарифм функции правдоподобия  для нулевой (логит или пробит) модели

n0 число  наблюдений со значением 0

n1 число  наблюдений со значением 1

n  общее  число наблюдений 

 

Алгоритмы минимизации функций. Теперь, после обсуждения различных регрессионных моделей и функций потерь, используемых для их оценки, единственное, что осталось “в тайне”, это как находить минимумы функций потерь (т.е. наборы параметров, наилучшим образом соответствующие оцениваемой модели), и как вычислять стандартные ошибки оценивания параметров.

Нелинейное  оценивание использует очень эффективный (квази-ньютоновский) алгоритм, который  приближенно вычисляет вторую производную функции потерь и использует ее при поиске минимума (т.е., при оценке параметров по соответствующей функции потерь).

Кроме того, Нелинейное оценивание предлагает несколько  более общих алгоритмов поиска минимума, использующих различные стратегии  поиска (не связанные с вычислением  вторых производных).

Эти стратегии  иногда более эффективны при оценивании функций потерь с локальными минимумами; поэтому, эти методы часто очень полезны для нахождения начальных значений с помощью квази-ньютоновского метода.

Во всех случаях, вы можете вычислить стандартные  ошибки оценок параметров. Эти вычисления проводятся с использованием частных производных второго порядка по параметрам, которые приближенно подсчитываются с использованием метода конечных разностей.

Если  вас интересует, не как именно происходит минимизация функции потерь, а  только то, что такая минимизация  в принципе возможна, вы можете пропустить следующие разделы.

Однако  они могут пригодиться, если получаемая регрессионная модель будет плохо  согласовываться с данными. В  этом случае, итеративная процедура может не сойтись, выдавая неожиданные (например, очень большие или очень маленькие) оценки для параметров.

 

Начальные значения, размеры шагов  и критерии сходимости. Общим моментом всех методов оценивания является необходимость задания пользователем некоторых начальных значений, размера шагов и критерия сходимости алгоритма. Все методы начинают свою работу с особого набора предварительных оценок (начальных значений), которые в дальнейшем последовательно уточняются от итерации к итерации. При первой итерации размер шага определяет, как сильно будут меняться параметры. Наконец, критерий сходимости определяет, когда итерационный процесс можно прекратить. Например, процесс итераций можно остановить, когда изменение функции потерь на каждом шаге становится меньше определенной величины.

 

Штрафные функции, ограничение  параметров. Все процедуры Нелинейного оценивания не имеют встроенных ограничений на область поиска. Это означает, что программа будет изменять значения параметров вне зависимости от допустимости получаемых значений. Например, в ходе логит регрессии оцениваемое значение можете получиться равным 0.0. В этом случае мы не можем вычислить логарифм (поскольку логарифм нуля не определен). В этой ситуации программа автоматически присваивает функции потерь штрафное значение, т.е. очень большое значение.

В результате, оценивающие процедуры остаются внутри допустимого диапазона. Однако, в некоторых случаях, процесс  оценивания зацикливается, и в результате, мы получаем огромное значение функции  потерь. Это может случиться, например, если, если регрессионное уравнение  включает взятие логарифма от независимой  переменной, которая в некоторых  случаях может принимать нулевое  значение (в этом случае возникают  проблемы с логарифмированием).

Для того, чтобы определить ограничения на область изменения параметров, следует добавить к функции потерь некоторую штрафную функцию, равную нулю при допустимых значениях параметра и очень большую при недопустимых. Ниже приведен пример определенной пользователем регрессии и функции потерь, включающий наложение штрафа, если хотя бы один из параметров a или b меньше или равен нуля:

Оцениваемая функция: v3 = a + b*v1 + (c*v2)

Функция потерь: L = (obs - pred)**2 + (a<0)*100000 + (b<0)*100000

 

Локальные минимумы. Самой неприятной проблемой при минимизации функции без ограничений являются локальные минимумы. Например, при небольшом смещении значения параметра в любом направлении функция потерь почти не изменяется. Однако если мы передвинем параметр в совершенно другую область, значение функции потерь может существенно уменьшиться. Вы можете представлять себе такие локальные минимумы как небольшие впадины на графике функции потерь.

Однако  в большинстве практических приложений локальные минимумы приводят к неправдоподобно  большим или неправдоподобно  малым значениям параметров с очень большими стандартными ошибками.

В этих случаях  следует задать другие начальные  данные и повторить поиск минимума еще раз. Отметим также, что симплекс - метод (см. ниже) нечувствителен к таким  минимумам, поэтому, он может быть использован  для отыскания подходящих начальных  значений для сложных функций.

 

Квази-ньютоновский метод. Как вы, наверное, помните, угловой коэффициент - тангенс угла наклона графика функции в конкретной точке равен производной этой функции (в этой точке), а скорость его изменения в выбранной точке равна второй производной функции в этой точке. Квази-ньютоновский метод вычисляет значения функции в различных точках для оценивания первой и второй производной, используя эти данные для определения направления изменения параметров и минимизации функции потерь.

 

Симплекс-метод. Этот алгоритм не использует производные функции потерь. Вместо этого, при каждой итерации функция оценивается в m+1 точках m-мерного пространства. Например, на плоскости (т.е., при оценивании двух параметров) программа будет вычислять значение функции потерь в трех точках в окрестности текущего минимума. Эти три точки определяют треугольник; в многомерном пространстве.

Получаемая  фигура называется симплекс. Интуитивно понятно, что в двумерном пространстве три точки позволяют выбрать  “в каком направлении двигаться”, т.е., в каком направлении на плоскости  менять параметры для минимизации  функции. Похожие принципы применимы  в многомерном параметрическом пространстве; т.е., симплекс будет постепенно “смещаться вниз по склону”, в сторону минимизации функции потерь; если же текущий шаг окажется слишком большим для определения точного направления спуска, (т.е., симплекс слишком большой), процедура произведет уменьшение симплекса и продолжит вычисления.

Дополнительное  преимущество симплекс-метода в том, что при нахождении минимума симплекс снова увеличивается для проверки: не является ли этот минимум локальным. Таким образом, симплекс движется по поверхности по направлению к минимуму функции подобно простому, одноклеточному, организму, уменьшаясь и увеличиваясь при обнаружении локальных минимумов и “гребней”.

 

Метод Хука-Дживиса. В некотором смысле, это простейший из всех алгоритмов. При каждой итерации метод сначала определяет схему расположения параметров, оптимизируя текущую функцию потерь перемещением каждого параметра по отдельности. При этом вся комбинация параметров сдвигается на новое место. Это новое положение в m-мерном пространстве параметров определяется экстраполяцией вдоль линии, соединяющей текущую базовую точку с новой точкой. Размер шага этого процесса постоянно меняется для попадания в оптимальную точку. Этот метод обычно очень эффективен и его следует использовать, если квази-ньютоновский и симплекс-метод (см. выше) не дали удовлетворительных оценок.

 

Метод Розенброка. Даже если все остальные методы не сработали, метод Розенброка часто приводит к правильному результату. Этот метод вращает пространство параметров, располагая одну ось вдоль “гребня” поверхности (этот метод также называется метод вращения координат), при этом все другие остаются ортогональными выбранной оси. Если поверхность графика функции потерь имеет одну вершину и различимые “гребни” в направлении минимума функции потерь, этот метод приводит к очень точным значениям параметров, минимизирующим функцию потерь.

Однако  следует отметить, что этот поисковый  алгоритм остановится преждевременно, если на область значений параметров наложены несколько ограничений (отражающихся в штрафном значении; см. выше), которые  пересекаются, приводя к обрыванию “гребня”.

 

Матрица Гессе и стандартные  ошибки. Матрицу частных производных второго порядка также часто называют матрицей Гессе. Оказывается, что обратная к ней матрица приблизительно равна матрице ковариаций оцениваемых параметров. Интуитивно понятно, что существует обратная зависимость между производными второго порядка по параметрам и их стандартными ошибками.

Если  изменить угловой коэффициент в  точке минимума функции и сделать минимум функции более “резким”, то производные второго порядка увеличатся; при этом, оценки параметров будут практически стабильными в смысле, что параметры в точке минимума будут легко уточняемы.

Если  же производная второго порядка  будет близка к нулю, то угол наклона в точке минимума будет практически неизменным, приводя к тому, что вы можете двигать параметры практически в любом направлении почти не изменяя значение функции потерь. Поэтому стандартные ошибки параметров будут очень большими.

Матрица Гессе и асимптотические стандартные  ошибки для параметров вычисляются  отдельно методом конечных разностей. Эта процедура возвращает очень точные асимптотические стандартные ошибки для всех методов оценивания.

 

Оценивание пригодности модели

После оценивания регрессионных параметров, существенной стороной анализа является проверка пригодности модели в целом. Например, если вы определили линейную регрессионную  модель, а реальная зависимость переменных по своей природе нелинейна, то оценки параметров (коэффициентов регрессии) и оценки стандартных ошибок этих приближений могут оказаться совершенно неудовлетворительными.

Рассмотрим  некоторые методы проверки пригодности  модели.

• объясненная доля дисперсии
• критерий согласия хи-квадрат
• график наблюдаемых и предсказанных значений
• нормальный и полунормальный график остатков
• график функции подгонки
• ковариационная матрица оценок параметров

 

Объясненная доля дисперсии. Вне зависимости от рассматриваемой модели, мы всегда можем оценить полную дисперсию зависимой переменной (полную сумму квадратов - total sum of squares, SST), долю дисперсии, приходящейся на остатки (сумму квадратов ошибок - error sum of squares, SSE), и долю дисперсии относительно регрессионной модели (сумму квадратов относительно регрессии - regression sum of squares, SSR = SST - SSE).