Типы экспериментов

Логит регрессия. В этой модели предсказываемые значения для зависимой переменной больше или равны 0 и меньше или равны 1 при любых значениях независимых переменных. Это достигается применением следующего регрессионного уравнения, которое в действительности имеет также некоторый глубокий смысл, как вы вскоре увидите (термин логит впервые был использован в работе Berkson, 1944):

y = exp(b0 + b1*x1 + ... + bn*xn)/{1 + exp(b0 + b1*x1 + ... + bn*xn)}

Легко заметить, что вне зависимости от коэффициентов  регрессии и значений x, значения y, предсказанные этой моделью всегда будут принадлежать отрезку [0,1].

Название  логит этой модели происходит от названия простого способа сведения этой модели к линейной с помощью логит  преобразования. Предположим, что мы рассуждаем о нашей зависимой переменной в терминах нашей основной вероятности p, лежащей между 0 и 1. Тогда мы можем преобразовать эту вероятность p:

p' = loge{p/(1-p)}

Это преобразование обычно называют логистическим или  логит - преобразованием. Отметим, что теоретически p’ может принимать любое значение от минус до плюс бесконечности. Поскольку логистическое преобразование решает проблему об ограничении на 0-1 границы для первоначальной зависимой переменной (вероятности), вы можете использовать эти (преобразованные) значения в обычном линейном регрессионном уравнении. А именно, если произвести логистическое преобразование обеих частей описанного выше уравнения, мы получим стандартную модель линейной регрессии:

p' = b0 + b1*x1 + b2*x2 + ... + bn*xn

Пробит  регрессия. Можно рассматривать  бинарную зависимую переменную как отклик на изменения некоторой “основной”, нормально распределенной переменной, в действительности имеющую диапазон изменений от минус до плюс бесконечности. Например, подписчик журнала может быть решительно против продления подписки, находится в нерешительности или испытывать расположение к журналу и стремиться продлить подписку. В любом случае, все, что мы (как издатели журнала) увидим, будет бинарный отклик, означающий продление или отказ от продления подписки. Однако если мы запишем стандартное уравнение линейной регрессии, основанное на “отношении людей к журналу”, мы получим: отношение... = b0 + b1*x1 + ... что, конечно, соответствует стандартной регрессионной модели. Логично предположить, что это “отношение людей к журналу” нормально распределено, и что вероятность продления подписки p равна соответствующей “отношению к журналу ” площади под графиком плотности нормального распределения. Поэтому, если мы преобразуем обе части уравнения в соответствующие нормальные вероятности, мы получим:

NP(отношение...) = NP(b0 + b1*x1 + ...)

Здесь NP означает нормальную вероятность (площадь  под графиком плотности нормального  распределения), таблицы которой  имеются практически в любом статистическом справочнике. Выписанное выше уравнение называется также регрессионной моделью пробит. (Термит пробит был впервые использован в работе Bliss, 1934.)

Обобщенная  логит регрессия. Обобщенная логит  регрессия может быть выражена уравнением:

y = b0/{1 + b1*exp(b2*x)}

Вы можете представлять себе эту модель как  обобщение обычной логит модели для бинарных зависимых переменных. Однако если логит модель ограничивает значения зависимой переменной только двумя возможными значениями, то общая модель позволяет отклику произвольно меняться внутри фиксированного интервала.

Например, предположим, что вас интересует прирост популяции вида, перенесенного  на новое место обитания, рассмотренный  в виде функции времени.

Тогда зависимая  переменная будет равна числу  особей данного вида в соответствующей  среде обитания. Очевидно, что ее значение ограничено снизу, так как  число особей не может быть меньше нуля; вероятно, что также существует какой-то верхний предел для численности  популяции, который будет достигнут  в некоторый момент времени.

Восприимчивость к лекарству и полумаксимальный отклик. В фармакологии, для описания эффективности различных доз лекарственных средств, часто используется следующая модель:

y = b0 - b0/{1 + (x/b2)b1}

В этой модели, x означает размер дозы (обычно в некоторой  закодированной форме, так что x  1), а y соответствует восприимчивости, измеренной в процентах по отношению к максимально возможной. Параметр b0 тогда означает ожидаемый отклик при насыщающем уровне дозы, а b2 равен концентрации, вызывающей полумаксимальный отклик; параметр b1   определяет наклон графика предсказываемой функции.

 

 

Регрессионные модели сточками разрыва

Кусочно - линейная регрессия. Нередко вид  зависимости между предикторами и переменной отклика различается в разных областях значений независимых переменных. Например, вы рассматриваете себестоимость единицы некоторого продукта как функцию от объема произведенной продукции за месяц.

Обычно, чем больше единиц товара вы производите, тем ниже себестоимость каждой единицы, и эта линейная зависимость существует в широких пределах изменения объема произведенной продукции.

Однако  при прохождении кривой выпуска  через некоторые значения себестоимость может меняться скачкообразно. Например, себестоимость может увеличиваться при увеличении объема производства из-за того, что для производства дополнительных единиц используются другие (устаревшие) станки.

Допустим, что устаревшие машины используются в производстве при достижении объемом  производства уровня 500 единиц в месяц; этой ситуации соответствует следующая регрессионную модель для себестоимости:

y = b0 + b1*x*(x  500) + b2*x*(x > 500)

В этой формуле: y означает оцениваемую себестоимость, а x равен объему продукции, произведенной за месяц. Выражения (x  500) и (x > 500) обозначают логические условия, принимающие значения 1 если они истинны, и 0 иначе.

Таким образом, эта модель определяется общим свободным  членом (b0) и угловым коэффициентом, соответствующим b1 (если выражение x  500 истинно, т.е., равно 1) или b2 (если выражение x > 500 истинно, т.е., равно 1).

Вместо  явного задания точки разрыва  регрессионной кривой (500 единиц в месяц в последнем примере), можно также оценить положение этой точки.

Например, мы могли заметить и предположить, что кривая себестоимости имеет разрыв в некоторой точке; однако не всегда очевидно, в какой именно точке происходит разрыв. В этом случае, достаточно просто заменить 500 в выписанном выше уравнении на дополнительный параметр (например, b3).

Регрессия с точками разрыва. Выписанное выше уравнение можно легко преобразовать  к регрессии с точками разрыва, т.е. добавить скачкообразные изменения  в некоторых точках кривой.

Например, предположим, что после запуска  устаревших станков, себестоимость “подпрыгнула” до более высокого уровня и затем продолжила медленно уменьшаться при увеличении объема производства. В этом случае, достаточно просто добавить (b3), тогда:

y = (b0 + b1*x)*(x  500) + (b3 + b2*x)*(x > 500)

Сравнение групп. Описанный здесь метод  для оценивания различных регрессионных  уравнений в разных областях значений независимых переменных может также быть использован для распознавания принадлежности элементов различным группам. Например, пусть в рассмотренном выше примере имеется три различных завода.

Для простоты изложения “забудем” пока про  возможные точки разрыва. Если сгруппировать  переменные по принадлежности к соответствующему заводу, присвоив группирующей переменной значения 1,2 и 3, соответственно, мы сможем одновременно записать три различных регрессионных уравнения:

y = (xp=1)*(b10 + b11*x) + (xp=2)*(b20 + b21*x) + (xp=3)*(b30 + b31*x)

В этом уравнении, xp обозначает группирующую переменную, содержащую коды, определяющие завод, b10, b20 и b30 соответствуют свободным членам, а b11, b21 и b31 определяют угловые коэффициенты графика себестоимости (коэффициенты регрессии) для каждого завода.

Вы можете сравнить правдоподобие этой и обычной  регрессионной модели (без рассмотрения различных заводов) для того, чтобы определить более подходящую.

 

Методы нелинейного оценивания :

• метод наименьших квадратов
• функция потерь
• метод взвешенных наименьших квадратов
• метод максимума правдоподобия
• максимум правдоподобия и логит/пробит модели
• алгоритмы минимизации функций
• начальные значения, размеры шагов и критерий сходимости
• штрафные функции, ограничение параметров
• локальные минимумы
• квази-ньютоновский метод
• симплекс-метод
• метод Хука-Дживиса
• метод Розенброка
• матрица Гессе и стандартные ошибки

 

 Метод наименьших квадратов. Некоторые более общие типы регрессионных моделей рассмотрены в разделе Основные типы нелинейных моделей. После выбора модели возникает вопрос: каким образом можно оценить эти модели?

Основной  смысл этого метода заключается  в минимизации суммы квадратов отклонений наблюдаемых значений зависимой переменной от значений, предсказанных моделью. (Термин наименьшие квадраты впервые был использован в работе Лежандра - Legendre, 1805.)

 

Функция потерь. В стандартной множественной регрессии оценивание коэффициентов регрессии происходит “подбором” коэффициентов, минимизирующих дисперсию остатков (сумму квадратов остатков). Любые отклонения наблюдаемых величин от предсказанных означают некоторые потери в точности предсказаний, например, из-за случайного шума (ошибок). Поэтому можно сказать, что цель метода наименьших квадратов заключается в минимизации функции потерь.

В этом случае, функция потерь определяется как  сумма квадратов отклонений от предсказанных значений (термин функция потерь был впервые использован в работе Вальда - Wald, 1939). Когда эта функция достигает минимума, вы получаете те же оценки для параметров (свободного члена, коэффициентов регрессии), как, если бы мы использовали Множественную регрессию. Полученные оценки называются оценками по методу наименьших квадратов.

Продолжая в том же духе, можно рассмотреть  другие функции потерь. Например, при  минимизации функции потерь, почему бы вместо суммы квадратов отклонений не рассмотреть сумму модулей  отклонений? В самом деле, иногда это бывает полезно для уменьшения влияния выбросов.

Влияние, оказываемое крупными остатками  на всю сумму, существенно увеличивается  при их возведении в квадрат. Однако если вместо суммы квадратов взять  сумму модулей выбросов, влияние  остатков на результирующую регрессионную кривую существенно уменьшится.

 

Метод взвешенных наименьших квадратов. Третьим по распространенности методом, в дополнение к методу наименьших квадратов и использованию для оценивания суммы модулей отклонений (см. выше), является метод взвешенных наименьших квадратов. Обычный метод наименьших квадратов предполагает, что разброс остатков одинаковый при всех значениях независимых переменных.

Иными словами, предполагается, что дисперсия ошибки при всех измерениях одинакова. Часто, это предположение не является реалистичным. В частности, отклонения от него встречаются в бизнесе, экономике, приложениях в биологии (отметим, что оценки параметров по методу взвешенных наименьших квадратов могут быть также получены с помощью модуля Множественная регрессия).

Например, вы хотите изучить связь между  проектной стоимостью постройки здания и суммой реально потраченных средств. Это может оказаться полезным для получения оценки ожидаемых перерасходов. В этом случае разумно предположить, что абсолютная величина перерасходов (выраженная в долларах) пропорциональна стоимости проекта.

Поэтому, для подбора линейной регрессионной  модели следует использовать метод взвешенных наименьших квадратов. Функция потерь может быть, например, такой (см. книгу Neter, Wasserman, and Kutner, 1985, стр.168):

Потери = (наблюд.-предск.)2 * (1/x2)

В этом уравнении  первая часть функции потерь означает стандартную функцию потерь для  метода наименьших квадратов (наблюдаемые  минус предсказанные в квадрате; т.е., квадрат остатков), а вторая равна “весу” этой потери в каждом конкретном случае - единица деленная на квадрат независимой переменной (x) для каждого наблюдения. В ситуации реального оценивания, программа просуммирует значения функции потерь по всем наблюдениям (например, конструкторским проектам), как описано выше и подберет параметры, минимизирующие сумму.

Возвращаясь к рассмотренному примеру, чем больше проект (x), тем меньше для нас значит одна и та же ошибка в предсказании его стоимости. Этот метод дает более  устойчивые оценки для параметров регрессии (более подробно, см. Neter, Wasserman, and Kutner, 1985).

 

Метод максимума правдоподобия. Альтернативой использования метода наименьших квадратов (см выше) является поиск максимума функции правдоподобия или ее логарифма. Эквивалентным способом является минимизация логарифма функции правдоподобия со знаком минус (термин максимум правдоподобия впервые был использован в работе Фишера - Fisher, 1922a). В общем виде, функцию правдоподобия определяется так: