Технология Data Mining

Преимущества

Возможности

Широкий набор инструментальных средств, поддерживающих процессы интеллектуального  анализа данных.

SAS предлагает гибкое интегрированное  решение, обеспечивающее поддержку  всех шагов, необходимых для  решения той или иной проблемы  бизнеса. Процесс пере хода  от необработанных исходных данных  к точным аналитическим моделям,  отвечающим на потребности бизнеса,  становится гладким и эффективным.  Пакет предоставляет интегрированную  среду для коллективной работы, обеспечивающую эффективное сотрудничество  подразделений статистического  моделирования, менеджеров и ИТ  специалистов.

Понятный графический  интерфейс пользователя (GUI) помогает бизнес-аналитикам и специалистам по статистике создавать в более  сжатые сроки большее количество моделей.

Среда для формирования диаграмм процессов обработки дан ных  пакета SAS Enterprise Miner устраняет необходимость  ручного кодирования и значительно  сокращает время разработки моделей  бизнес-аналитиками и специалистами  по статистике. Кроме того, диаграммы  выступают в качестве самоописательных шаблонов, которые можно легко  изменять или применять для решения  новых проблем, не повторяя анализ с  самого начала. Существует возможность  обмена диаграммами между аналитиками  в масштабах предприятия.

Упрощение выявления надежной бизнес информации.

Пакет SAS Enterprise Miner оснащен  рядом встроенных функций контроля, работающих в рамках единой оболочки и обеспечивающих сравнение результатов  различных методов моделирования  как с точки зрения статистики, так и с точки зрения бизнеса. Полученные модели можно публиковать  для совместного использования  в рамках пред приятия при помощи уникального репозитария моделей, представляющего собой первую на рынке систему управления моделями.

Развертывание моделей в  масштабах предприятия с непревзойденной  простотой.

Скоринг  это применение модели к новым данным и конечный результат деятельности по интеллектуальному  анализу данных. Пакет SAS Enterprise Miner автоматизирует утомительный процесс подбора коэффициентов  и предоставляет готовый программный  код для скоринга на всех стадий создания модели. Этот программный  код может использоваться в различных  средах (в пакет ном режиме или  в реальном времени)  в системе SAS, в Web или не посредственно в  реляционных базах данных. Это  позволяет быстрее перейти к  практическому использованию результатов  анализа данных.

Наименование

Описание

Разнообразные интерфейсы

Простой графический интерфейс, обеспечивающий создание диаграмм процессов  обработки данных:

Быстрое создание большого числа качественных моделей.

Возможность доступа через Web-интерфейс.

Доступ к среде программирования SAS.

Возможность обмена диаграммами  в формате XML.

Возможность повторного использования  диаграмм в качестве шаблонов для  других проектов и пользователей.

Пакетная обработка:

Включает в себя все  те же возможности, что и графический  интерфейс.

Основана на языке SAS-macro.

Экспериментальный интерфейс Java API.

Репозитарий моделей с Web-интерфейсом:

Управление большими портфелями моделей.

Поиск моделей по заданному  алгоритму, целевой переменной и  т.п.

Публикация результатов  в виде ступенчатых диаграмм, деревьев и скоринг-кодов, удобных для специалистов в области бизнеса и анализа  данных.

Масштабируемая обработка

Серверная обработка.

Параллельная обработка.

Многопоточные прогностические  алгоритмы.

Доступ к данным

Доступ более чем к 50 различным файловым структурам.

Выборки

Простая случайная.

Стратифицированная.

Взвешенная.

Кластерная.

Систематическая.

Первые N наблюдений.

Выборка редких событий.

Разбивка данных

Создание обучающих, проверочных  и тестовых наборов данных.

Обеспечение качественного  обобщения моделей на основании  контрольных данных.

Стандартная стратификация  по целевому классу.

Сбалансированная разбивка по любой классовой переменной.

Преобразования

Простые.

Накопительные.

Оптимизированные.

Фильтрация недостоверных  данных

Применение различных  распределительных порогов, позволяющих  исключить значения из экстремальных интервалов. Объединение классовых значений, встречающихся менее n раз.

Замена данных

С использованием мер центрированности.

На основе распределения.

Заполнение дерева суррогатными значениями.

Методом усреднения расстояний.

С использованием устойчивых M-оценок.

С использованием стандартных  констант.

Описательная статистика

Одномерные статистические таблицы и графики

Классовые переменные.

Графики распределения.

Статистическая разбивка для каждого уровня целевых классов.

Двумерные статистические таблицы  и графики

Упорядоченный график хи-квадрат  с возможностью группировки непрерывных  исходных данных по n группам.

График коэффициентов  вариации.

Отбор переменных по logworth-критерию.

Другие интерактивные  графики.

Графика и визуализация

Графики, создаваемые в  пакетном и интерактивном режимах.

Удобный Java-мастер для построения графиков.

Графики и таблицы интерактивно связаны между собой и поддерживают выполнение таких операций, как очистка и связывание.

Кластеризация

По выбору пользователя или  автоматический выбор k лучших кластеров.

Различные стратегии кодирования  классовых переменных в процессе анализа.

Управление недостающими данными.

Графики профилей переменных сегментов, отражающие распределение  исходных данных и других факторов в рамках каждого кластера.

Профиль дерева решений, использующий исходные данные для составления  прогноза о принадлежности кластеру.

Анализ рыночной корзины

Сетевой график правил, упорядоченный  по степени достоверности.

Статистические графики  подъема, достоверности, прогноза достоверности  и поддержки правил.

Статистическая гистограмма  частотных показателей в заданных границах поддержки и достоверности.

График зависимости разброса достоверности от прогнозируемой достоверности.

Таблица описания правил.

Сетевой график правил.

Органичная интеграция правил с другими исходными данными  обеспечивает расширенное прогностическое  моделирование.

Удобный вывод правил обеспечивает кластеризацию клиентов по их покупательным  и поведенческим характеристикам.

Анализ Web-активности

Масштабируемое и эффективное  выявление наиболее популярных интернет-маршрутов  на основе анализа данных об интернет-активности пользователей.

Выявление наиболее частых последовательностей в последовательных данных любого типа.

Уменьшение размерности

Выбор переменных:

Удаление переменных, не связанных с целевыми признаками, на основе критериев отбора хи-квадрат  или R2.

Удаление переменных из иерархий.

Удаление переменных со многими  недостающими значениями.

Сокращение числа классовых  переменных с большим количеством  уровней.

Группировка непрерывных  исходных данных для выявления нелинейных взаимосвязей.

Выявление взаимодействий.

Главные компоненты:

Вычисление собственных  значений и собственных векторов на основании матриц корреляции и  ковариации.

Графики: масштабированное отклонение, логарифмические собственные  значения, кумулятивные пропорциональные собственные значения.

Исследование выбранных  основных компонентов при помощи методов предиктивного моделирования.

Исследование временных  рядов:

Сокращение объемов транзакционных данных на основе формирования временных  рядов с использованием разнообразных  методов аккумуляции и преобразования.

Методы анализа включают сезонный анализ, анализ тенденций, анализ временных областей, сезонную декомпозицию.

Исследование сокращенных  временных рядов при помощи методов  кластерного и предиктивного  моделирования.

Управление временными метриками  при помощи описательных данных.

Утилита SAS Code Node

Обеспечивает запись кода SAS для упрощения сложных процедур подготовки и преобразования данных.

Позволяет использовать процедуры  других продуктов SAS.

Поддерживает импорт внешних  моделей.

Позволяет создавать собственные  модели и узлы Enterprise Miner.

Содержит макропеременные, упрощающие ссылку на источники данных, переменные и т.п.

Расширяемая логика формирования оценочного кода.

Исчерпывающие средства моделирования

Выбор моделей на базе обучающей, проверочной или тестовой выборки  данных с использованием различных  критериев, таких как: прибыли или  убытки, AIC, SBC, среднеквадратичная ошибка, частота ошибок классификации, ROC, Джини, KS (Колмогорова"Смирнова).

Поддерживает двоичные, номинальные, порядковые и интервальные

исходные данные и целевые  признаки.

Удобный доступ к оценочному коду и всем источникам данных.

Отображение нескольких результатов  в одном окне позволяет лучше  оценить 

эффективность модели.

Регрессии

Линейная и логистическая.

Пошаговая, с прямой и  обратной выборкой.

Построитель условий для  уравнений: полиномиальных, основных взаимодействий, поддержка иерархии эффектов.

Перекрестная проверка.

Правила для иерархии эффектов.

Методы оптимизации: сопряженные  градиенты, метод двойных ломаных, метод Ньютона"Рафсона с линейным или гребневым поиском, квазиньютоновский  метод, метод доверительных областей.

Оценочный код PMML.

Деревья решений

Автоматическое выявление взаимодействия по методу хи-квадрат.

Деревья классификации и  регрессии.

Отбор деревьев на основе целевых  значений прибыльности или роста  с соответствующим отсечением ветвей.

Критерии расщепления: вероятностный  критерий хи-квадрат, вероятностный 

F-критерий, критерий Джини,  критерий энтропии, уменьшение дисперсии. 

Автоматический вывод  идентификаторов листьев дерева в качестве входных значений для  последующего моделирования.

Отображение правил на английском языке.

Вычисление значимости переменных для предварительного отбора.

Уникальное представление  консолидированной диаграммы дерева.

Интерактивная работа с деревом  на настольном ПК:

Интерактивное расширение и  обрезание деревьев.

Задание специальных точек  разбиения, включая двоичные или  многовариантные разбиения.

Более 13 динамически связанных  таблиц и графиков, позволяющих произвести более качественную оценку дерева.

Возможность распечатать  диаграмму дерева на одном или  нескольких листах.

В основе - новая быстрая  процедура ARBORETUM.

Нейронные сети

Узел нейронной сети:

Гибкие архитектуры сетей  с развитыми функциями комбинирования и активации.

10 методов обучения сети.

Предварительная оптимизация.

Автоматическая стандартизация входных параметров.

Поддержка направленных связей.

Узел самоорганизующейся нейронной сети:

Автоматизированное создание многоуровневых перцептронов для поиска оптимальной конфигурации.

Выбор функций типа и активации  из четырех различных типов архитектур.

Оценочный код PMML.

Узел нейронной сети анализа  данных (DM Neural node):

Создание модели с уменьшением  размерности и выбором функций.

Быстрое обучение сети.

Линейное и нелинейное оценивание

Индуктивный вывод правил

Метод рекурсивного прогностического моделирования.

Особенно хорошо подходит для моделирования редких событий.

Двухуровневое моделирование

Последовательное и параллельное моделирование для классовых  и интервальных целевых признаков.

Выбор модели в виде дерева решений, регрессии или нейронной  сети на каждом уровне.

Управление применением  прогноза для классов к прогнозу интервалов.

Точная оценка экономической  выгодности клиентов.

Методы вывода путем сопоставления

Метод отбора ближайших k соседей  для категоризации или прогноза наблюдений.

Запатентованные методы создания дерева и поиска с уменьшенной  размерностью.

Множество моделей

Объединение прогнозов моделей  для создания потенциально более  сильного решения.

Среди методов: усреднение, мажоритарная выборка, выбор максимального  значения.

Сравнение моделей

Сравнение нескольких моделей  в рамках единой инструментальной оболочки для всех источников данных.

Автоматический выбор  лучшей модели на основе заданного  пользователем критерия.

Расширенная статистика соответствия и диагностики.

Ступенчатые диаграммы.

Кривые ROC.

Диаграммы прибылей и убытков  с возможностью выбора решения.

Матрица неточностей (классификации).

График распределения  вероятностных оценок классовых  целевых признаков.

Ранжирование и распределение  оценок интервальных целевых признаков.

Количественная оценка

Интерактивная количественная оценка узла в рамках графического интерфейса

Автоматическая генерация  оценочного кода на языках SAS, C, Java и PMML.

Моделирование сбора, кластеризации, преобразования и вычисления недостающих  значений для оценочных кодов  на языках SAS, C и Java.

Развертывание моделей в  нескольких средах.

Инструментальная среда

Узел удаления переменных.

Узел слияния данных.

Узел метаданных, позволяющий  изменять столбцы метаданных, например, роль, уровень измерений и порядок.