Вероятностные методы оценки эффективности ИТ

Достоинством качественных (эвристических) методов является реализованная в них попытка дополнить количественные расчеты качественными оценками. Они могут помочь оценить все явные и неявные факторы эффективности ИТ-проектов и увязать их с общей стратегией предприятия. Данная группа методов позволяет специалистам самостоятельно выбирать наиболее важные для них характеристики ИТ (в зависимости от специфики продукции и деятельности предприятия), устанавливать между ними соотношения, например, с помощью коэффициентов значимости.  
Весомым аргументом в пользу применения качественных методов является и то, что решение о начале комплексных ИТ-проектов на крупных промышленных предприятиях в большей степени является политическим и подчиняется стратегическим планам развития (например, разработка нового продуктового ряда), нежели цели скорейшего получения финансовой выгоды.  
Основной недостаток таких методов заключается в том, что для их эффективного применения предприятию необходимо самостоятельно разработать собственную детальную систему показателей и внедрить ее во всех подразделениях по всей цепочке создания дополнительной стоимости. Другой слабой стороной является фактор влияния субъективного мнения на выбор системы показателей. Поэтому к специалистам, занятым разработкой системы показателей, предъявляются особые требования: они должны обладать большим опытом работы в сфере ИТ и высоким уровнем знаний в области инновационного менеджмента.

1.4 Вероятностный метод.

Вероятностные методы можно применить для оценки другого фактора эффективности ИТ в сфере ППП — вероятности своевременного и качественного выполнения проекта по разработке изделия. В этом случае оценивают количество ошибок в конструкторской документации и трудоемкость их исправления. Однако для построения таких моделей необходимо иметь статистику о возникновении ошибок в конструкторской документации, сбору которой на отечественных предприятиях не уделяется должного внимания. Кроме этого, при осуществлении подобного рода оценок упускаются из вида другие проектные риски, например, связанные с методами управления процессами ППП, что говорит о необъективности оценки с ориентацией только на программно-технический аспект.

Полноценному использованию финансовых и вероятностных методов мешает также невозможность в современных экономических условиях точно спрогнозировать изменение технико-экономических показателей работы предприятия (объем и продолжительность выпуска разрабатываемой продукции).

Надо сказать, что вероятностные методы нечасто используются для оценки будущего эффекта от ИТ-проекта. Метод прикладной информационной экономики очень субъективен и вообще мало похож на конкретную методику. Метод справедливой цены опциона, напротив, очень конкретен, но достаточно труден и требует большого времени для анализа.

Достоинством вероятностных методов является возможность оценки вероятности возникновения риска и появления новых возможностей (например, повышение конкурентоспособности продукции, снижение рисков своевременного завершения проекта) с помощью статистических и математических моделей. Здесь также возникают трудности, в частности, при оценке влияния КИС на конкурентоспособность изделия. Во-первых, такие составляющие качества продукции, как работоспособность, зависят не только от качества проектных решений, принятых в ходе выполнения производства изделия, но и от параметров производственной системы — ее способности достаточно точно воспроизвести параметры проекта изделия. Во-вторых, ИТ-проекты развития сферы подготовки и проектирования производства (ППП) на большинстве предприятий взаимосвязаны с инновационными проектами в производственной сфере, следовательно, обособленный расчет эффективности таких проектов становится бессмысленным - необходима системность.  
Вероятностные методы можно применить для оценки другого фактора эффективности ИТ в сфере ППП — вероятности своевременного и качественного выполнения проекта по разработке изделия. В этом случае оценивают количество ошибок в конструкторской документации и трудоемкость их исправления. Однако для построения таких моделей необходимо иметь статистику о возникновении ошибок в конструкторской документации, сбору которой на отечественных предприятиях не уделяется должного внимания. Кроме этого, при осуществлении подобного рода оценок упускаются из вида другие проектные риски, например, связанные с методами управления процессами ППП, что говорит о необъективности оценки с ориентацией только на программно-технический аспект.  
Полноценному использованию финансовых и вероятностных методов мешает также невозможность в современных экономических условиях точно спрогнозировать изменение технико-экономических показателей работы предприятия (объем и продолжительность выпуска разрабатываемой продукции). 

1.4.1Виды вероятностных  методов.

               В вероятностном методе можно выделить два вида :прикладная информационная экономика (Applied Information Economics) и справедливая цена опционов (Real Options Valuation, ROV). 
 
^ Справедливая цена опционов (Real Options Valuation, ROV)

В октябре 1997 года профессорам Роберту Мертону (Гарвардский университет) Майрону Шоулзу (Стенфордский университет) была присуждена Нобелевская премия по экономике за их труд в области оценки опционов, впервые опубликованный в 1973 г. Шоулз работал совместно с Фишером Блэком, умершим в 1995 и их совместный результат известен под названием модели Блэка-Шоулза. Мертон сделал значительный вклад в модель и ее расширения и был награжден Нобелевской премией наравне с Шоулзом. (Нобелевский Фонд вручает премии только живым ученым).

В кратце формула Блэка-Шоулза оценивает "справедливую стоимость" опциона. Учитывая прошедшую историю акции (актива) и вычисляя вероятность будущей цены опциона, можно вычислить текущее "справедливое" значение цены на опцион. Модель очень полезна при принятии инвестиционных решений, но не гарантирует прибыль на опционных торгах. Заметим, что модель вычисляет "справедливую" рыночную стоимость, которая может как совпадать, так и не совпадать с текущим значением цены.

Концептуально модель Блэка-Шоулза - это формула, которая может быть объяснена следующим образом:  
 
Цена опциона "кол" = [Ожидаемая будущая цена за акцию] - [ожидаемая стоимость исполнения опциона]

 
Метод справедливой цены опциона сам по себе достаточно труден (за его разработку недавно была получена Нобелевская премия). Но мы опишем его вариант, адаптированный к нуждам ИТ. При использовании метода справедливой цены опционов проект рассматривается с точки зрения его управляемости уже в ходе самого проекта. В любом проекте выделяются пять параметров: выручка от проекта, расходы проекта, сложность проекта, стоимость поддержки получившегося решения и жизненный цикл внедряемой ИТ-системы. Затем следует оценить, насколько мы можем влиять на эти параметры по ходу проекта. Чем сильнее мы можем влиять на эти параметры, то есть понижать расходы или сложность проекта, тем выше наша оценка этого проекта по данному методу. Соответственно, чем проект более жесткий, чем строже заданы рамки, тем он менее интересен. 
Методология ROV, созданная на основе удостоенной Нобелевской премии модели оценки опционов Блэка-Шоулза, направлена на определение количественных параметров гибкости. Данная технология позволяет оценить эффективность аренды, слияния, покупки и производства. Ее часто используют в качестве альтернативы стандартным процедурам составления бюджета и плана капиталовложений в условиях неопределенного состояния рынка и экономики, когда на передний план выступают параметры гибкости. Большинство компаний используют методологию ROV в качестве одного из элементов построения привычной всем системы финансовых показателей и показателей эффективности. 
 
^ Прикладная информационная экономика (Applied Information Economics, AIE) 
Метод прикладной информационной экономики достаточно тривиален, это немного модифицированный качественный метод информационной экономики. Его идея в том, чтобы для каждой из заявленных целей ИТ-проекта определить вероятность ее достижения и далее из нее вывести вероятность улучшений в бизнес-процессах компании. Например, позволяет ли проект по созданию корпоративного портала улучшить доступ к информации и принимать решения быстрее? Насколько увеличится скорость принятия решения? В какой степени это ускорит заключение сделки? Отсюда мы выводим увеличение вероятности заключения сделки. 
Этот метод хорошо подойдет тем, кто не доверяет скользящей шкале «эвристического» анализа риска методологии TEI, неуютно чувствует себя с однобокими рекомендациями модели TCO и не хочет делать ставку исключительно на модель Balanced Scorecard. Если вам нужна качественная, статистически верная методика анализа рисков, которая обезопасит руководителей, недостаточно хорошо владеющих предметом, то AIE - наилучший выход. 
 
Эта методология объединяет достижения теории опционов, современной теории управления портфелем активов, традиционных бухгалтерских подходов (к которым относятся прежде всего NPV, ROI и IRR) и подстраховочных статистических методов, с помощью которых можно выразить неопределенность в количественных оценках, построить кривую распределения ожидаемых результатов, оценить риск и возврат на инвестиции. Для этой методологии характерен большой объем расчетов, а многие скептически относятся к сложным вычислениям. Но главным критерием все же является конечный результат, и с этим не поспоришь. Для дорогостоящих проектов методология AIE является удобным и статистически верным способом анализа рисков.

Основные составляющие прикладной информационной экономики — методы оценки неопределенности, риска и стоимости информации. Метод AIE отвечает на четыре вопроса:

1)      как смоделировать текущее состояние неопределенности;

2)      как рассчитать, что еще необходимо измерить;

3)      как измерить это экономически оправданным способом;

4)      как принять решение?

Чтобы глубже вникнуть в процессы прикладной информационной экономики, обратимся к рисунку 1.2

Рис. 1.2 Цикл проведения измерения

С помощью прикладной информационной экономики измеряются  всевозможные объекты, казавшиеся поначалу трудно или даже вовсе не поддающимися количественной оценке.

2.Применение вероятностных  методов на практике.

2.1Технология проведения  проекта прикладной информационной  экономики.

                  На начальном этапе постановки задачи метод AIE придает большое значение количественной оценке неопределенности и риска как необходимому условию расчета стоимости информации. А когда выясняется, что проведение измерений экономически оправданно, AIE предполагает использование только методов, гарантированно уменьшающих ошибку. Сложность заключалась в том, чтобы собрать все это в один внутренне непротиворечивый метод. После нескольких первых проектов стало очевидно, что процесс должен состоять из следующих этапов:

Этап 0. Подготовка проекта

• Предварительные исследования. Чтобы понять характер проблемы, аналитик встречается с заинтересованными лицами и изучает результаты вторичных исследований и отчеты за прошлые периоды.
• Подбор экспертов. Обычно необходимо, чтобы свои оценки дали четыре-пять специалистов, но мне доводилось привлекать и по 20 экспертов, хотя я не рекомендую этого делать.
• Планирование заседаний рабочей группы. Вместе с отобранными экспертами составляется расписание четырех-шести заседаний рабочей группы продолжительностью в половину рабочего дня.

Этап 1. Построение модели принятия решения

• Определение проблемы. На первом заседании рабочей группы эксперты определяют, какую конкретную задачу они на самом деле должны проанализировать. Например, что на самом деле они должны сделать: решить, стоит ли продолжать данный инвестиционный проект, или проблема в том, как его скорректировать? Если задача — одобрить или отвергнуть инвестиционный проект или другую программу, то тогда необходимо встретиться с лицами, принимающими решения, чтобы определить инвестиционную границу для этой организации.
• Детализация модели принятия решения. Ко дню проведения второго заседания рабочей группы составляется электронная таблица в программе Excel, учитывающая все факторы, влияющие на анализируемое решение, и их совокупное воздействие. Если принимается решение одобрить или отклонить какой-нибудь крупный проект, следует перечислить все затраты и выгоды, ввести их в общий денежный поток и рассчитать ROI (как это делается при обосновании любого проекта).
• Первоначальные калиброванные оценки. На оставшихся заседаниях рабочей группы мы калибруем экспертов и подставляем предложенные ими значения переменных в модель принятия решения. Эти значения не фиксированы (если только нам не известны точные числа), а являются калиброванными экспертными оценками. Все они представляют собой 90%-ные доверительные интервалы или другие распределения вероятностей.

Этап 2. Предварительные измерения

• Анализ стоимости информации (value of information analysis, VIA). На этой стадии мы анализируем стоимость информации о каждой переменной, входящей в модель. В результате мы узнаем не только значение каждой неизвестной, но и его порог. Макрос, написанный мной в программе Excel, делает это быстро и точно, но и методы, обсуждавшиеся ранее в этой книге, тоже дают хорошие оценки.
• Предварительный выбор метода измерения. В ходе VIA выясняется, что мы обладаем достаточной информацией о большинстве переменных и что их дополнительной оценки, кроме калиброванной, не потребуется. Обычно высокой оказывается стоимость информации лишь о паре переменных (и нередко их выявление приносит сюрпризы). На основании полученных данных осуществляется выбор таких методов измерения, которые обязаны снизить неопределенность, не превышая ожидаемой стоимости полной информации. В ходе VIA также определяется порог измерения, в случае достижения которого приходится принимать иное решение. Наш метод измерения ориентирован на уменьшение неопределенности относительно этого порога.
• Применяемые методы измерения. Разложение на составляющие, случайная выборка, субъективно-байесовский способ, проведение контролируемых экспериментов, метод линзы (и т.д.) или любое их сочетание — все это может использоваться для снижения неопределенности переменных, определенных на предыдущем этапе.
• Усовершенствованные модели принятия решения. Результаты этих измерений используются для уточнения значений переменных в нашей модели. В модель вводятся величины, появившиеся в результате разложения первоначальной переменной на составляющие (например, неизвестный элемент затрат может быть разложен на более мелкие компоненты с присущими им 90%-ными доверительными интервалами).
• Конечная стоимость анализа затрат на информацию. Анализ и измерения (предыдущие четыре шага) часто проходят несколько повторений. До тех пор пока VIA показывает, что стоимость информации превышает затраты на проведение измерений, их можно продолжать. Однако обычно уже после одной-двух итераций, согласно VIA, проведение дальнейших измерений экономически нецелесообразно.

Этап 3. Выбор показателей и конечные результаты

• Полный анализ соотношения «риск/доходность». Результатом моделирования методом Монте-Карло являются вероятности возможных исходов. Если необходимо принять решение о судьбе крупных инвестиций, проекта, серьезных обязательств или какой-либо другой программы (как это обычно и бывает), то следует сравнить риск и доходность с инвестиционной границей данной организации.
• Выбор способов отслеживания показателей. Нередко бывают такие переменные, рассчитывать которые вначале кажется нецелесообразным, поскольку ценность информации о них становится очевидной лишь впоследствии. Зачастую это величины, характеризующие ход выполнения проекта и внешние условия функционирования компании, например состояние всей экономики. Такие переменные необходимо отслеживать постоянно, так как их изменение может потребовать принятия корректирующих мер. В связи с этим следует ввести процедуры постоянного расчета подобных показателей.
• Оптимизация решения. Принимаемое на практике решение редко оказывается итогом простого процесса одобрения по типу «да—нет». А когда это так, существуют многочисленные способы улучшить уже принятое решение. Теперь, с детально разработанной моделью «риск/доходность», можно разработать стратегии уменьшения риска или попытаться повысить доходность инвестиций, проведя анализ по методу «что, если».
• Заключительный отчет и презентация. Заключительный отчет должен содержать описание модели принятия решения, результатов анализа стоимости информации, использованных методов измерения, положения на инвестиционной границе, а также всех показателей, требующих постоянного отслеживания, или методов оптимизации принятого решения.