Лекции по "Математической статистике"

,    .

Свойство 1. есть показательное распределение с параметром .

Действительно, если , то - есть плотность распределения случайной величины, распределенной по показательному закону с параметром .

Свойство 2. Если , то .

Доказательство. Найдем функцию распределения :

Свойство 3. Если независимы и , то .

Доказательство. По свойству характеристической функции

- что есть характеристическая  функция случайной величины, распределенной  по .

Свойство 4. Если независимы и имеют стандартное нормальное распределение, то .

Доказательство. Вытекает из свойств 2 и 3.

Распределение "хи-квадрат"

Определение. Распределение суммы квадратов независимых стандартных нормальных случайных величин называют распределением "хи-квадрат" с степенями свободы и обозначают . (Саму случайную величину также часто обозначают ).

Согласно этому определению  и свойству 4 предыдущего раздела, - есть гамма распределение . Следовательно, плотность распределения :

,     (3.6)

а основные числовые характеристики , , мода распределения, при , равна .

Графики плотности вероятностей для различных степеней свободы  приведены на рис

Если случайные величины и независимы и , , то, очевидно, их сумма .

Распределение Стьюдента

Определение. Пусть - случайная величина распределенная по закону , а - независимая от нее случайная величина распределенная по закону хи-квадрат с степенями свободы. Тогда распределение величины

       (3.7)

называется распределением Стьюдента с степенями свободы и обозначают .

Плотность распределения  Стьюдента:

,     (3.8)

Числовые характеристики: , . Распределение Стьюдента симметрично относительно .

Так как при , согласно закону больших чисел, , то при .

Преобразования  нормальных выборок. Лемма Фишера

Теорема 1 (об ортогональном  преобразовании нормального вектора). Пусть - случайный вектор, координаты которого независимы и имеют стандартное нормальное распределение, а , где - ортогональная матрица порядка (т.е. ),. Тогда координаты вектора независимы и имеют стандартное нормальное распределение.

Доказательство. Запишем плотность распределения вектора . Так как величины независимы и имеют стандартное нормальное распределение, то:

,

где .

Чтобы записать плотность  распределения вектора  , воспользуемся формулой для плотности при линейном преобразовании вектора: если , то . Тогда, с учетом того, что и получим:

.

Но, умножение вектора  на ортогональную матрицу не меняет нормы вектора, действительно: .

Следовательно, , т.е. величины также как и величины , независимы и имеют стандартное нормальное распределение.

Теорема 2 (лемма  Фишера). Пусть - выборка из и , где - ортогональная матрица порядка . Тогда для любого статистика распределена по закону , и не зависит от .

Доказательство. Так как , то (см. доказательство предыдущей теоремы). Тогда .

Основные следствия  леммы Фишера

Пусть независимы и имеют нормальное распределение , , , . Тогда:

1. ;               (3.9)
2. ;            (3.10)
3. ;           (3.11)
4. и независимы;
5. .             (3.12)

Доказательство.

1. Доказано ранее.
2. Так как величины , то величина .
3. Рассмотрим статистику .

Введем стандартные нормальные величины и выразим через : , где . То есть можно изначально считать, что величины имеют стандартное нормальное распределение. Попробуем применить к лемму Фишера, для этого представим в виде: , где .

Покажем, что найдется ортогональная  матрица  такая, что вектор , будет иметь координату . Возьмем в качестве первой строки матрицы строку, . Тогда . Так как норма этой строки (длина вектора) равна 1, то эту строку всегда можно дополнить до ортогональной матрицы (строки и столбы ортогональной матрицы – есть ортонормированные вектора).

Тогда в соответствии с  леммой Фишера, статистика имеет распределение хи-квадрат с степенью свободы.

4. В соответствии с леммой Фишера, статистика   и

величина  независимы, то есть и независимы.

5. Преобразуем . Величина , а

величина  , и по следствию 4 эти величины независимы. Следовательно, .

Точные доверительные  интервалы для параметров нормального  распределения

1. Для параметра  при известном .

С вероятностью : , где - квантиль стандартного нормального распределения уровня .

2. Для параметра при неизвестном .

Из следствия 5 леммы Фишера, учитывая симметрию распределения  Стьюдента, с вероятностью получим:

,    (3.13)

где - квантиль распределения Стьюдента уровня . Заметим, что квантиль распределения Стьюдента называется коэффициентом Стьюдента уровня .

3. Для параметра при неизвестном .

Из следствия 2 леммы Фишера, с вероятностью получим:

,     (3.14)

где , - квантили распределения хи-квадрат с степенями свободы уровней и соответственно.

4. Для параметра при неизвестном .

Из следствия 3 леммы Фишера, с вероятностью получим:

,     (3.15)

где , - квантили распределения хи-квадрат с степенью свободы уровней и соответственно.

Пример 1. Найти доверительный интервал для дисперсии нормальной величины с надежностью , если .

Решение. По таблицам распределения для степеней свободы находим квантили распределения уровней и : , . Следовательно, доверительный интервал:

.

Пример 2. Найти доверительный интервал для математического ожидания нормальной случайной величины с надежностью , если , , .

Решение. По таблицам распределения Стьюдента для степеней свободы находим коэффициент Стьюдента уровня : . Таким образом, с вероятностью :

  или   .

 

ТЕМА № 7 Проверка статистических гипотез

В математической статистике считается, что данные, получаемые в  результате наблюдений, подчинены некоторому неизвестному вероятностному распределению, и задача состоит в том, чтобы  извлечь из данных правдоподобную информацию об этом неизвестном распределении. В настоящей главе мы обсудим  еще один подход к этой общей задаче, состоящий в проверке гипотез. Статистической гипотезой называют предположение  о распределении вероятностей, которое  необходимо проверить по имеющимся  данным.

Статистический критерий — строгое математическое правило, по которому принимается или отвергается  та или иная статистическая гипотеза с известным уровнем значимости. Построение критерия представляет собой  выбор подходящей функции от результатов  наблюдений (ряда эмпирически полученных значений признака), которая служит для выявления меры расхождения между эмпирическими значениями и гипотетическими.

Непараметрические критерии

Группа статистических критериев, которые не включают в расчёт параметры  вероятностного распределения и  основаны на оперировании частотами  или рангами.

Q-критерий Розенбаума

U-критерий Манна-Уитни

Критерий Уилкоксона

Критерий Пирсона

Критерий Колмогорова-Смирнова

Параметрические критерии

Группа статистических критериев, которые включают в расчет параметры  вероятностного распределения признака (средние и дисперсии).

t-критерий Стьюдента

Критерий Фишера

Критерий отношения правдоподобия

Критерий Романовского

Определения

Пусть в (статистическом) эксперименте доступна наблюдению случайная величина X, распределение которой  неизвестно полностью или частично. Тогда любое утверждение, касающееся  называется статистической гипотезой. Гипотезы различают по виду предположений, содержащихся в них:

Статистическая гипотеза, однозначно определяющая распределение , то есть , где  какой-то конкретный закон, называется простой.

Статистическая гипотеза, утверждающая принадлежность распределения  к некоторому семейству распределений, то есть вида , где  — семейство распределений, называется сложной.

На практике обычно требуется  проверить какую-то конкретную и как правило простую гипотезу H0. Такую гипотезу принято называть нулевой. При этом параллельно рассматривается противоречащая ей гипотеза H1, называемая конкурирующей или альтернативной.

Выдвинутая гипотеза нуждается  в проверке, которая осуществляется статистическими методами, поэтому  гипотезу называют статистической. Для  проверки гипотезы используют критерии, позволяющие принять или опровергнуть гипотезу.

В большинстве случаев  статистические критерии основаны на случайной выборке  фиксированного объема  из распределения. В последовательном анализе выборка формируется в ходе самого эксперимента и потому её объем является случайной величиной 

Уровень значимости и мощность

При проверке статистической гипотезы возможны ошибки. Есть два рода ошибок. Ошибка первого рода заключается  в том, что отвергают нулевую  гипотезу, в то время как в действительности эта гипотеза верна. Ошибка второго  рода состоит в том, что принимают  нулевую гипотезу, в то время как  в действительности эта гипотеза неверна.

Вероятность ошибки первого рода называется уровнем значимости и обозначается α. Таким образом, α = P{U Ψ | H₀}, т.е. уровень значимости α – это вероятность события {U Ψ}, вычисленная в предположении, что верна нулевая гипотеза Н₀.

Уровень значимости однозначно определен, если Н₀ – простая гипотеза. Если же Н₀ – сложная гипотеза, то уровень значимости, вообще говоря, зависит от функции распределения результатов наблюдений, удовлетворяющей Н₀. Статистику критерия U обычно строят так, чтобы вероятность события {U Ψ} не зависела от того, какое именно распределение (из удовлетворяющих нулевой гипотезе Н₀) имеют результаты наблюдений. Для статистик критерия U общего вида под уровнем значимости понимают максимально возможную ошибку первого рода. Максимум (точнее, супремум) берется по всем возможным распределениям, удовлетворяющим нулевой гипотезе Н₀, т.е. α = sup P{U Ψ | H₀}.

Если критическая область имеет  вид, указанный в формуле (9), то

P{U > C | H₀} = α.   (10)

Если С задано, то из последнего соотношения определяют α. Часто поступают по иному - задавая α (обычно α = 0,05, иногда α = 0,01 или α = 0,1, другие значения α используются гораздо реже), определяют С из уравнения (10), обозначая его С_α, и используют критическую область Ψ = {U > C_α} с заданным уровнем значимости α.

Вероятность ошибки второго рода есть P{U Ψ | H₁}. Обычно используют не эту вероятность, а ее дополнение до 1, т.е. P{U Ψ | H₁} = 1 - P{U Ψ | H₁}. Эта величина носит название мощности критерия. Итак, мощность критерия – это вероятность того, что нулевая гипотеза будет отвергнута, когда альтернативная гипотеза верна. 

Понятия уровня значимости и мощности критерия объединяются в понятии  функции мощности критерия – функции, определяющей вероятность того, что  нулевая гипотеза будет отвергнута. Функция мощности зависит от критической  области Ψ и действительного  распределения результатов наблюдений. В параметрической задаче проверки гипотез распределение результатов  наблюдений задается параметром θ. В  этом случае функция мощности обозначается М(Ψ,θ) и зависит от критической области Ψ и действительного значения исследуемого параметра θ. Если