Типы экспериментов

1.1.Нелинейные методы оценивания

Общее назначение

Иногда, при проведении анализа линейной модели, исследователь получает данные о ее неадекватности. В этом случае, его по-прежнему интересует зависимость между предикторными переменными и откликом, но для уточнения модели в ее уравнение добавляются некоторые нелинейные члены.

Самым удобным  способом оценивания параметров полученной регрессии является Нелинейное оценивание. Например, его можно использовать для уточнения зависимости между дозой и эффективностью лекарства, стажем работы и производительностью труда, стоимостью дома и временем, необходимым для его продажи и т.д. Наверное, вы заметили, что ситуации, рассматриваемые в этих примерах, часто интересовали нас и в таких методах как множественная регрессия (см. Множественная регрессия) и дисперсионный анализ (см. Дисперсионный анализ).

На самом  деле, можно считать Нелинейное оценивание обобщением этих двух методов. Так, в  методе множественной регрессии (и  в дисперсионном анализе) предполагается, что зависимость отклика от предикторных переменных линейна. Нелинейное оценивание оставляет выбор характера зависимости за вами.

Например, вы можете определить зависимую переменную как логарифмическую функцию от предикторной переменной, как степенную функцию, или как любую другую композицию элементарных функций от предикторов (однако, если все изучаемые переменные категориальны по своей природе, вы можете также воспользоваться модулем Анализ соответствий).

Если  позволить рассмотрение любого типа зависимости между предикторами и переменной отклика, возникают два вопроса. Во-первых, как истолковать найденную зависимость в виде простых практических рекомендаций.

С этой точки  зрения линейная зависимость очень  удобна, так как позволяет дать простое пояснение: “чем больше x (т.е., чем больше цена дома), тем больше y (тем больше времени нужно, чтобы его продать); и, задавая конкретные приращения x, можно ожидать пропорциональное приращение y”. Нелинейные соотношения обычно нельзя так просто проинтерпретировать и выразить словами. Второй вопрос - как проверить, имеется ли на самом деле предсказанная нелинейная зависимость.

Далее мы рассмотрим проблему нелинейной регрессии  более формально и введем стандартную  терминологию, позволяющую рассмотреть  сущность этого метода более пристально.

Мы также  покажем примеры его использования  в различных областях исследований: медицине, социологии, физике, химии, фармакологии, проектировании и т.д.

 

Оценивание линейных и нелинейных моделей

Формально говоря, модуль Нелинейное оценивание является универсальной аппроксимирующей процедурой, оценивающей любой вид зависимости между переменной отклика и набором независимых переменных. В общем случае, все регрессионные модели могут быть записаны в виде формулы:

y = F(x1, x2, ... , xn)

При проведении регрессионного, а в частности  нелинейного регрессионного анализа, исследователя интересует, связана ли и если да, то как, зависимая переменная и набор независимых переменных. Выражение F(x...) в выписанном выше выражении означает, что переменная отклика y является функцией от независимой переменной x.

Примером  модели такого типа может быть модель множественной линейной регрессии, описанная в разделе Множественная регрессия. В этой модели предполагается, что зависимая переменная является линейной функцией независимых переменных, т.е.:

y = a + b1*x1 + b2*x2 + ... + bn*xn

Если  вы не знакомы с множественной  линейной регрессией, вы можете прямо  сейчас перечитать вводный обзор  Множественной регрессии (но вам  вовсе не обязательно понимать все нюансы множественной линейной регрессии, для того чтобы разобраться в обсуждаемом здесь методе).

Нелинейное  оценивание позволяет задать практически  любой тип непрерывной или разрывной регрессионной модели. Некоторые из наиболее общих нелинейных моделей (такие как пробит и логит модели, модель экспоненциального роста и регрессия с точками разрыва) уже имеются в Нелинейном оценивании.

Однако, при необходимости, вы можете также  самостоятельно ввести регрессионное  уравнение любого типа, поручив программе  его подгонку в соответствии с  вашими данными.

Более того, для оценивания модели вы можете использовать метод наименьших квадратов, метод максимума правдоподобия (если это допускается выбранной моделью), или, опять же, определить вашу собственную функцию потерь (см. ниже) задав соответствующее уравнение.

В общем  случае, каждый раз, когда простая  модель линейной регрессии неадекватно  отражает зависимость переменных, используется модель нелинейной регрессии. Выберите один из следующих разделов для получения более полного представления об основных типах нелинейных моделей, процедурах нелинейного оценивания и оценивании пригодности модели.

Основные  типы нелинейных моделей:

- регрессионные модели с линейной структурой

- существенно нелинейные регрессионные модели

 

Регрессионные модели с линейной структурой

Полиномиальная  регрессия. Распространенной “нелинейной” моделью является модель полиномиальной регрессии. Термин нелинейная заключен в кавычки, поскольку эта модель линейна по своей природе.

Например, предположим, что вы измеряете в  обучающем эксперименте связь физиологического возбуждения объектов и их производительности в задаче слежения за целями. На основании  хорошо известного закона Йеркса-Додсона, можно ожидать нелинейной зависимости между уровнем возбуждения и производительностью. Это предположение можно выразить следующим уравнением регрессии:

Производительность = a + b1*Возбуждение + b2*Возбуждение2

В этом уравнении, a представляет свободный член, а b1 и b2 коэффициенты регрессии. Нелинейность этой модели выражается членом Возбуждение2. Однако, в сущности, модель по-прежнему линейна, за исключением того, что при ее оценивании нам придется возводить наблюдаемый уровень возбуждения в квадрат. Для оценивания коэффициентов регрессии этой модели можно использовать фиксированное нелинейное оценивание.

Такие модели, где мы составляем линейное уравнение  из некоторых преобразований независимых  переменных, относятся к моделям  нелинейным по переменным.

Модели, нелинейные по параметрам. Для сравнения  с предыдущим примером рассмотрим зависимость между возрастом человека (переменная x) и его скоростью роста (переменная y).

Очевидно, что соотношение между этими  двумя переменными на первом году человеческой жизни (когда происходит наибольший рост) сильно отличается от соотношения во взрослом возрасте (когда человек почти не растет). Поэтому, эту зависимость лучше представить в виде какой-нибудь экспоненциальной функции с отрицательным показателем степени:

Рост = exp(-b1*Возраст)

Если  вы построите на графике оценку для  коэффициента регрессии, то вы получите кривую следующего вида:

Отметим, что эта модель по своей природе  больше не является линейной, т.е. выражение, написанное сверху, не представимо в виде простой регрессионной модели с некоторыми преобразованиями независимых переменных. Такие модели называются нелинейными по параметрам.

Сведение  нелинейных моделей к линейным. В  общем случае, всегда, когда регрессионная модель может быть сведена к линейной модели, этому способу отдается предпочтение (при оценивании соответствующей модели).

Модель  линейной множественной регрессии (см. Множественная регрессия) наиболее просто понимаема с точки зрения математики и, с практической точки зрения, наиболее проста для толкования. Поэтому, возвращаясь к простой экспоненциальной регрессионной модели Скорости роста как функции Возраста, описанной раньше, мы можем преобразовать это нелинейное уравнение в линейное, прологарифмировав обе части уравнения, получив:

log(Рост) = -b1*Возраст 

Если  теперь заменить log(Рост)) на y, мы получим  стандартную модель линейной регрессии, как уже было показано раньше (без  свободного члена, который был опущен для простоты изложения).

Таким образом, для оценивания взаимоотношения  возраста и скорости роста вы можете прологарифмировать данные о скорости роста (например, воспользовавшись преобразованиями таблиц данных с помощью формул), а затем использовать Множественную  регрессию, получив при этом интересующий нас коэффициент регрессии b1.

Адекватность  модели. Конечно, используя “неправильное” преобразование, можно прийти к неадекватной модели. Поэтому, после ”линеаризации” модели, наподобие только что показанной, очень важно провести подробное изучение статистик остатков, вычисляемых с помощью Множественной регрессии.

 

Существенно нелинейные регрессионные  модели

Для некоторых  регрессионных моделей, которые  не могут быть сведены к линейным, единственным способом для исследования остается Нелинейное оценивание.

В приведенном  выше примере для скорости роста, мы специально “забыли ” о случайной ошибке в зависимой переменной. Конечно, на скорость роста влияют множество других факторов (кроме возраста), и нам следует ожидать значительных случайных отклонений (остатков) от предложенной нами кривой. Если добавить эту ошибку или остаточную изменчивость, нашу модель можно переписать следующим образом:

Рост = exp(-b1*Возраст) + ошибка

Аддитивная  ошибка. В этой модели предполагается, что случайная ошибка не зависит  от возраста, т.е., остаточная изменчивость одинакова для всех возрастов.

Поскольку ошибка в этой модели аддитивна, т.е. просто прибавляется к точному значению скорости роста, мы больше не можем  линеаризовать эту модель простым  логарифмированием обеих частей. Если бы мы снова прологарифмировали входные данные о скорости роста и подобрали простую линейную модель, мы заметили бы, что остатки больше не являются равномерно распределенными вокруг значений переменной возраст; и поэтому, стандартный линейный регрессионный анализ (с помощью Множественной регрессии) больше не применим.

Единственным  способом оценивания параметров модели остается использование Нелинейного оценивания.

Мультипликативная ошибка. В “оправдание” предыдущего  примера заметим, что в данном случае постоянство вариации случайной ошибки в любом возрасте мало вероятно, т.е., предположение об аддитивности ошибки не слишком реалистично. Правдоподобнее, что изменения скорости роста более случайны и непредсказуемы в раннем возрасте, чем в позднем, когда рост практически останавливается. Поэтому, более реалистичной моделью, включающей ошибку, будет:

Рост = exp(-b1*Возраст) * ошибка

На словах это означает, что чем больше возраст, тем меньше множитель exp(-b1*Возраст), и, следовательно, тем меньше будет  разброс результирующей ошибки. Если же вы теперь прологарифмируете обе части нашего уравнения, то остаточная ошибка перейдет в свободный член линейного уравнения, т.е., аддитивный фактор, и вы сможете продолжить и оценить b1 пользуясь стандартную множественную регрессию.

Log (Рост) = -b1*Возраст + ошибка 

Теперь  мы рассмотрим некоторые регрессионные  модели (нелинейные по параметрам), которые  не могут быть сведены к линейным простым преобразованием начальных данных.

Общая модель роста. Общая модель роста похожа на рассмотренный ранее пример:

y = b0 + b1*exp(b2*x) + ошибка 

Эта модель обычно используется при изучении различных  видов роста (y), когда скорость роста  в любой момент времени (x) пропорциональна  оставшемуся приросту. Параметр b0 в этой модели представляет максимальное значение скорости роста. Типичным примером ее адекватного использования служит описание концентрации вещества (например, в воде) в виде функции времени.

Модели  бинарных откликов: пробит и логит. Нередко зависимая переменная - переменная отклика бинарна по своей природе, т.е. может принимать только два значения.

Например, пациент может выздороветь, а  может и нет, кандидат на должность  может пройти, а может провалить  тест при приеме на работу, подписчики журнала могут продлить, а могут  не продлевать подписку, купоны скидок могут быть использованы, а могут быть и не использованы и т.п. Во всех этих случаях нас может заинтересовать поиск зависимости между одной или несколькими “непрерывными” переменными и одной, зависящей от них бинарной переменной.

Использование линейной регрессии. Конечно, можно  использовать стандартную множественную  регрессию и вычислить стандартные  коэффициенты регрессии. Например, если рассматривается продление журнальной подписки, можно задать переменную y со значениями 1’ и 0’, где 1 означает, что соответствующий подписчик продлил подписку, а 0, что он отказался от продления.

Однако  здесь возникает проблема: Множественная  регрессия не “знает”, что переменная отклика бинарна по своей природе. Поэтому, это неизбежно приведет к модели с предсказываемыми значениями большими 1 и меньшими 0. Но такие значения вообще не допустимы для первоначальной задачи, таким образом, множественная регрессия просто игнорирует ограничения на диапазон значений для y.

Непрерывные функции отклика. Задача регрессии  может быть сформулирована иначе: вместо предсказания бинарной переменной, мы предсказываем непрерывную переменную со значениями на отрезке [0,1]. Наибольшее распространение в этой области получили регрессионные модели логит и пробит.