Метод главных компонент

Частный случай. Дана матрица A; - ее характеристические числа. Определить характеристические числа матрицы .

В соответствии с теоремой = .

Поэтому .

Отсюда следует, что

Суммы степеней многочлена (7) связаны с коэффициентами этого уравнения формулами Ньютона.

(8)

Метод Леверрье. Определение коэффициентов характеристического многочлена по следам степеней матрицы заключается в следующем:

1. определяются - следы матрицы .
2. по (8) последовательно определяются .

Метод Фаддеева

Фаддеев предложил вместо следов степеней матриц вычислять последовательно следы других матриц и с их помощью определить и .

                (9)

Для контроля вычислений можно воспользоваться последней формулой . Убедимся, что по системе (9) ; последовательно определяемые, являются коэффициентами и .

Используя систему (9) для и получим:

                     (10)

          (11)

Приравняем следы левой и правой частей (10)

                    (12)

Выражения (12) и (8) совпадают с формулами Ньютона, по которым последовательно определяются коэффициенты характеристического многочлена . Значит, числа системы (9) являются коэффициентами .

По формуле (11) определяют матричные коэффициенты присоединительной матрицы .

Значит система (9) определяет коэффициенты   матричного многочлена .

Пример. Вычислить собственные значения и собственные векторы матрицы

Решение методом Фаддеева

1. Составим характеристическое уравнение

2. Запишем его в виде многочлена 3-ей степени относительно

3.

4.

 

 

 

5.

6. Получены все члены характеристического  уравнения

7. Определим корни характеристического  уравнения

              

8. Определим собственный вектор, соответствующий λ1=9; подставим в систему уравнений λ=9.

Система однородная, все bi, т.е. определители, равны 0. Система неполная (уравнения зависимы) и имеет бесконечное множество решений. Одно решение может быть выбрано произвольно. В этом случае можно определить отношение корней: ,

где Аij-алгебраические дополнения элементов любой строки.

Решение этой системы уравнений позволяет определить следующие соотношения: .

Значит, собственный вектор .

9. Определим собственный вектор, соответствующий λ2=6.

10. Определим собственный вектор, соответствующий λ3=3.

 
          4 Квадратичные формы и главные компоненты

 

Для того чтобы представить в геометрическом плане главные компоненты, рассмотрим простейшие случаи: плоскости и пространства трех измерений.

Пусть дано уравнение линии второго порядка:

Ах2 +2Вху + Су2 =Н. (13)

Левая часть уравнения (13) не меняется при замене х,у на -х, -у. Значит, во-первых, точки линии (13) расположены парами симметрично относительно начала координат. Во-вторых, линия второго порядка, заданная (13), обладает центром симметрии и, в-третьих, начало координат помещено в центр. Левая часть (13) представляет собой однородный многочлен второй степени. Такой многочлен называют квадратичной формой от двух переменных.

Ах2 +2Вху + Су2                     (14)

Приведем данную квадратичную форму (14) к каноническому виду. Для этого надо будет повернуть так координатные оси х и у, чтобы в новых координатах исчез член с произведением новых текущих координат. Переход к новым координатам производится по известным формулам:

  (15)

Старые координаты связаны с новыми по формулам:

  (16)

где х' и у' - новые координаты.

 

 

Характеристика коэффициентов со старыми координатами представлена на рис.1.

 

Рис. 1. Единичный вектор и его компоненты

На рис.1 на новой оси абсцисс отложен отрезок ОХ1 единичной длины, тогда его проекции на старые координатные оси составят:

    (17)

где α -  угол поворота осей х и у.

Значит, вектор с компонентами l1 и m1 является единичным вектором, определяющим направление новой оси абсцисс х':

(18)

Аналогично единичный вектор, определяющий направление новой оси у' ординат, имеет вид:

(19)

Чтобы привести квадратичную форму (14) к каноническому виду, нужно в (14) величины х и у заменить согласно формуле (16). Квадратичная форма примет вид:

Ах2 + 2Вху + Су2 =λхх’2+λ2у’2. (20)

Для решения (20) достаточно подобрать так коэффициенты (16) и числа λ1,λ2, чтобы

                                   

Значит, надо решить систему уравнений

       (21)

В системе (21) перенесем правые части влево и получим

     (22)

Определитель данной системы

=0.                      (23)

можно представить в виде

  (24)

Откуда

       (25)

Уравнение (23) представляет собой характеристическое уравнение квадратичной формы, а корни этого уравнения λ1 и λ2 являются характеристическими числами этой формы. После приведения формы к каноническому виду числа λ1 и λ2  являются коэффициентами при неизвестных.

Так как выражение под радикалом, равное

(А-С)2 +4В2≥ 0, (26)

неотрицательно, то уравнение (22) имеет только действительные корни. Отдельно рассмотрим случай, когда

(А-С)2 +4В2>0. (27)

При этом условии λ1 ≠ λ2  . Подставим в (21) λ = λ1 . Система будет иметь ненулевое решение l и т.

Полученный вектор будет иметь главное направление квадратичной формы, которое соответствует характеристическому числу λ1.По этому же главному направлению, которое соответствует числу λ1 направлен и вектор т.е.             (28)

где µ≠0.

Если примем, что , то по системе (28) .

Вектор является единичным вектором главного направления.

Вектор определяет другое главное направление квадратичной формы.

Если λ1 ≠ λ2  , векторы главных направлений взаимно перпендикулярны.

Другой случай соответствует

(А-С)2 + АВ2 = 0.  (29)

В данном случае

.                        (30)

Из выражения (25) λ = А = С.

Подставим в выражение (24) полученное значение λ и убедимся в том, что все коэффициенты системы обращаются в нуль. Таким образом, система (22) будет состоять из тождеств. Ей подходят любые числа l и т.

В результате можно заключить, что если λ1 = λ2, то для квадратичной формы любое направление является главным. При повороте осей на любой угол форма сохранит свой канонический вид Ах2 + Ау2.

При любом преобразовании квадратичной формы к любым прямоугольным координатам не меняются ее инварианты

.     (31)

Согласно теореме Виета АС-В2= λ1 λ2  .           (32)

1. Если λ1 ≠ 0; λ2 ≠ 0  имеют одинаковые знаки, то квадратичная 
форма называется эллиптической: АС-В2>0. (33)

2. Если λ1 ≠ 0; λ2 ≠ 0, но знаки у них разные, то форма называется 
гиперболической: АС-В2<0. (34)

3. Если одно из чисел λ1, λ2 равно нулю, т.е. АС-В2 =0, то форма 
называется параболической.

В методе главных компонент характеристические числа по своему физическому смыслу не могут равняться нулю и быть отрицательными. Значит,  λ1>0 и λ2 >0. В этом случае квадратичная форма будет называться положительно определенной эллиптической формой.

На рис.2 показаны переход от произвольной системы координат к системе с точкой нуль в центре эллипса и поворот осей, осуществленный для приведения квадратичной формы к каноническому виду. После приведения к каноническому виду ось абсцисс, соответствующая λ1, направлена по одной главной оси эллипса (главному направлению), а ось координат, соответствующая другому главному направлению, направлена перпендикулярно к ней вдоль другой главной оси эллипса. Вдоль главной оси эллипса оу направлена первая главная компонента, а вдоль оси ох направлена вторая главная компонента.

 

 

 

 

Рис. 2. Перенос системы координат (х,0,у) в центр эллипса и поворот на угол α.

На рис. 2 первое главное направление (у') определяется λ1, а второе главное направление (х') определяется характеристическим числом λ2 .

 

     5 Применение метода главных компонент в экономике    

В зависимости от конкретных задач, решаемых в экономике, каждый из методов факторного анализа, в том числе метод главных компонент, имеют свои достоинства и недостатки. Компонентный анализ считается статистическим методом. Однако, есть другой подход, приводящий к компонентному анализу, но не являющийся статистическим. Этот подход связан с получением наилучшей проекции точек наблюдения в пространстве меньшей размерности. В статистическом подходе задача будет заключаться в выделении линейных комбинаций случайных величин, имеющих максимально возможную дисперсию. Он опирается на ковариационную и корреляционную матрицу этих величин. У этих двух разных подходов есть общий аспект: использование матрицы вторых моментов как исходной для начала анализа.

Методы факторного анализа позволяют решать следующие четыре задачи.

Первая заключается в «сжатии» информации до обозримых размеров, т.е. извлечения из исходной информации наиболее существенной части за счет перехода от системы исходных переменных к системе обобщенных факторов. При этом выявляются неявные, непосредственно не измененные, но объективно существующие закономерности, обусловленные действием как внутренних, так и внешних причин.

Вторая сводится к описанию исследуемого явления значительно меньшим числом m обобщенных факторов (главных компонент) по сравнению с числом исходных признаков. Обобщенные факторы – это новые единицы измерения свойств явления, непосредственно измеряемых признаков.

Третья – связана с выявлением взаимосвязи наблюдаемых признаков с вновь полученными обобщенными факторами.

Четвертая заключается в построении уравнения регрессии на главных компонентах с целью прогнозирования изучаемого явления.

Компонентный анализ может быть также использован при классификации наблюдений (объектов). В экономических исследованиях стремление полнее изучить исследуемое явление приводит к включению в модуль все большего числа исходных переменных, которые зачастую отражают одни и те же свойства объема наблюдения. Это приводит к высокой корреляции между переменными, т.е. к явлению мультиколлинеарности. При этом классические методы регрессионного анализа оказываются малоэффективными. Преимущество уравнения регрессии на главные компоненты в том, что последние не коррелированны между собой.

Главные компоненты являются характеристическими векторами ковариационной матрицы.

Множество главных компонент представляет собой удобную систему координат, а их вклад в общую дисперсию характеризует статистические свойства главных компонент. Из общего числа главных компонент для исследования, как правило, оставляют наиболее весомых, т.е. вносящих максимальный вклад в объясняемую часть общей дисперсии.

Таким образом, несмотря на то, что в методе главных компонент надо для точного воспроизведения корреляции и дисперсии между переменными найти все компоненты, большая доля дисперсии объясняется небольшим числом главных компонент. Кроме того, можно по признакам описать факторы, а по факторам (главным компонентам) описать признаки.

 

 

 

 

 

 

 

 

 

 

 

 

 

Заключение

 

На основании изученной темы и проделанной работы можно сделать вывод, что поставленные цель и задачи нашли  здесь свое отражение.

Метод главных компонент считается статистическим методом.

Учитывая, что объекты исследования в экономике характеризуются  большим, но конечным количеством признаков (характеристик), влияние которых подвергается воздействию большого количества случайных причин, в качестве моделей в статистическом плане берутся многомерные распределения.

Из оптимальных свойств главных компонент следует, что они оказываются полезным статистическим инструментарием в задачах «автопрогноза» большого числа анализируемых показателей по сравнительно малому числу вспомогательных переменных, визуализации многомерных данных, построение типообразуюших признаков; при типологизации многомерных объектов, при предварительном анализе геометрической и вероятностной природы массива исходных данных. К методу главных компонент обращаются и при построении различного рода регрессионных моделей.