Классификация интеллектуальных информационных систем по интеллектуальным признакам
В данном разделе мы рассмотрим классификацию методов ИАД по четырем признакам:
- происхождение гипотез, проверяемых в процессе ИАД;
- использование данных;
- уровень аналитической работы;
- алгоритмическая классификация.
1. В общем случае методы ИАД условно делят на два больших класса: методы, основанные на проверке гипотез (verification—driven data mining) и методы, направленные на выявление зависимостей, которым подчиняются данные (discovery—driven data mining). К недостаткам процедур первого типа можно отнести ограниченность анализа жесткими рамками заранее сформулированной гипотезы. В этом случае именно на пользователе лежит ответственность за построение гипотезы, а также за количество и широту проверяемых гипотез. Весьма вероятно, что некоторые возможные корреляции выпадут из рассмотрения аналитика и исследование будет неполным. С другой стороны в тех процессах, где требуется принимать решения в ограниченное время, часто программы не могут соперничать с опытом аналитика.
Во втором случае системы ИАД самостоятельно обрабатывают информацию с целью обнаружения внутренних закономерностей. Комбинируя операции этих двух типов, становится возможным реализовать самые сложные стратегии анализа и принятия решений.
2. Перейдем ко второму признаку. В соответствии с ним все методы подразделяются на две большие группы по принципу работы с исходными данными. В первом случае исходные данные хранятся в явном детализированном виде и непосредственно используются для моделирования, а также для анализа исключений. Главной проблемой этой группы методов являются технические (временные и технологические) трудности при работе с большими объемами данных. Во втором случае информация сначала извлекается из первичных данных и преобразуется в некоторые формальные конструкции (их вид зависит от конкретного метода). При этом полученные конструкции могут быть либо интерпретируемыми (понимаемые и анализируемые пользователем), либо не трактуемыми (дающими только конечный результат). Ряд методов, распределенных по этой классификации, показан на рис.12.
3. В отношении уровня аналитической работы существующие системы ИАД можно разделить на следующие классы:
- исследовательские (предназначенные для работы с новыми типами проблем);
- операторские (предназначенные для работы в реальном секторе, но требующие от аналитика высокого уровня в постановке задач и интерпретации результатов);
- прикладные (рассчитанные на непрограммирующего пользователя и решающие типовые задачи).
4. Наконец, наиболее полной является алгоритмическая классификация, то есть классификация, основанная на алгоритмах, используемых в различных методах ИАД
Алгоритмическая классификация методов иад
А. Гипотеза стационарности.
А. Линейный регрессионный анализ.
Б. Нелинейный регрессионный анализ.
А. Линейный дискриминационный анализ.
Б. Нелинейный дискриминационный анализ.
- Саморазвивающиеся системы.
- Нейронные сети.
- Эволюционное программирование.
- Генетические алгоритмы.
- Традиционные методы решения оптимизационных задач.
- Вариационные методы.
- Методы исследования операций.
А. Линейное программирование.
Б. Нелинейное программирование.
В. Дискретное программирование.
Г. Целочисленное программирование.
- Условно-экспертные методы.
- Метод ближайшего соседа (CASE-BASED).
- Деревья решений.
- Алгоритмы ограниченного перебора.
- Индукция правил.
- Анализ с избирательным действием.
В качестве первого направления методов ИАД рассмотрим методы статистической обработки данных, которые с приходом компьютерной эпохи приобрели свойства интеллектуальных информационных систем. Методы этого направления можно разделить на четыре взаимосвязанных раздела:
- предварительный анализ природы статистических данных (проверка гипотез стационарности, нормальности, независимости, однородности, оценка вида функции распределения и ее параметров);
- выявление связей и закономерностей (линейный и нелинейный регрессионный анализ, корреляционный анализ);
- многомерный статистический анализ (линейный и нелинейный дискриминантный анализ, кластер-анализ, компонентный анализ, факторный анализ);
- динамические модели и прогноз на основе временных рядов.
Второе крупное направление развития составляют кибернетические методы оптимизации, основанные на принципах саморазвивающихся систем — методы нейронных сетей, эволюционного и генетического программирования, а также разновидность эволюционного программирования – метод группового учета аргументов, позволяющий эффективно оценивать динамические характеристики исследуемого процесса путем последовательных уточнений результатов статистической подгонки наблюдений.
К третьему крупному разделу ИАД следует отнести совокупность традиционных методов решения оптимизационных задач — вариационные методы, методы исследования операций, включающие в себя различные виды математического программирования (линейное, нелинейное, дискретное, целочисленное целочисленное, динамическое программирование, принцип максимума Понтрягина, методы теории систем массового обслуживания).
В четвертый раздел средств ИАД входят средства, которые назовем условно экспертными, т.е. связанными с непосредственным использованием опыта эксперта.
Другой подход к выбору решения связан с построением последовательного логического вывода — дерева решений, в каждом узле которого эксперт осуществляет простейший логический выбор («да» — «нет»). В зависимости от принятого выбора, поиск решения продвигается по правой или левой ветви дерева и в конце концов приходит к терминальной ветви, отвечающей конкретному окончательному решению. Здесь процесс статистического обучения выведен за пределы программы и сконцентрирован в виде некоторого априорного опыта, заключенного в наборе ветвей-решений.
Источник
4.1. Статистические методы
В данных методах значительно последовательно рассматривается значимость больших массивов данных для решения задачи обучения автоматизированных систем поддержки принятия решений (СППР). Самые известные пакеты – SAS (1), STATISTICA (2), SPSS (3), STATA (4), SYSTAT (5) .
4.2 Кибернетические методы
Данные методы служат для оптимизации, они основаны на принципах и идеях саморазвивающихся систем. Делятся на:
- анализ и прогноз на основе нейронных сетей
- эволюционное программирование,
- генетические алгоритмы,
- метод группового учета аргументов.
Достоинства всех кибернетических методов порождают новые проблемы, благодаря них не всегда получается предоставить наглядное решение, что может стать затруднением экспертам.
4.3 Оптимизационные методы
К данным методам относятся методы и алгоритмы, которые решают следующие традиционные оптимизационные задачи:
- математическое программирование,
- динамическое программирование,
- методы систем массового обслуживания,
- вариационные методы и другие.
Большинство из них не существуют в виде отдельных программных пакетов, а в составе пакетов прикладных программ – Mathcad (1), Matlab (2), Mathematica (3) (рисунок 4.3.1).
4.4 Экспертные методы
- ассоциативные средства (метод “ближайшего соседа”),
- метод последовательного логического вывода,
- методы представления и визуализации решений,
- предметно-ориентированные аналитические системы.
Названия условны, так как применяют их исходя из индивидуального опыта эксперта.
4.5. Работа с Big Data
Крупные компании работают просто с колоссально большими объемами данных, которые человеку обрабатывать придется T→∞ минут. На помощь придут следующие программные предложения, которые являются на данный момент лучшими на рынке:
На российском рынке также можно встретить решения от компаний Alteryx и SAS.
Тренды интеллектуального анализа данных
Тренды задают направление, показывают наиболее актуальные сферы, спрос.
Из-за появления все более новых технологий и повышенного спроса на технологические продукты жизненный цикл технологий изменился (рисунок 5.2),
- Ускоренная цифровизация вследствие Covid-19 также является трендом.
- Проблемы кибербезопасности. Все чаще задаются этим вопросом, из-за чего растет спрос на средства киберзащиты.
- Расширение границ применения ITSM-систем (IT Service Management)
5) Enterprise service management – управление сервисными службами за пределами IT.
Enterprise Service Management (ESM) – организация внутренней деятельности компании в соответствии с сервисным подходом для повышения эффективности бизнеса в целом.
Трендовые сервисные процессы за пределами IT:
- Управление административно-хозяйственной поддержкой.
- Управление фронт-офисом.
- Финансовый учет и бюджетирование.
- Управление персоналом.
Все услуги внутренних служб упаковываются в один суперсервис. Пример: процесс приема сотрудника на работу.
6) Переход от классического мониторинга к интеллектуальному управлению ит-ландшафтом
7) Самообслуживание как целевое взаимодействие между поставщиками и потребителями сервисов.
Аналитики Gartner отмечают, что тренд на самообслуживание в B2B прослеживается не первый год. Но в 2020 это направление получило дополнительный импульс к развитию.
Посредничество по контракту, оформление согласия потребителя на использование персональных данных, независимая проверка содержания, показов рекламы и конверсий.
9) Платформа клиентских данных (CDP).
Система для обеспечения современного уровня цифрового маркетинга, позволяющая унифицировать для организации данные клиентов из различных каналов для моделирования действий клиента и оптимизации сроков и адресность сообщений и предложений. Такая система хранит контакты, информацию о проведенных транзакциях, предпочтения клиента и другие сведения для отдела продаж.
Комбинация систем для реагирования на данные, варианты их обработки и использования и изменения поведения без явного вмешательства человека.
11) Маркетинг в реальном времени.
Описывает способность интерпретации возможностей и реагирования на них в течение определенного периода времени, что дает преимущества бизнесу. Собирают, анализируют и действуют в соответствии с информацией в режиме реального времени.
Программное обеспечение и услуги для оценки присваивания приоритетов элементам омниканальной маркетинговой компании или каждой точке взаимодействия, ведущей к конверсии.
Обеспечение взаимодействия между компаниями и клиентами, имитирующее человеческий диалог (чат-боты, например).
14) Этика данных клиентов/Customer data ethics.
15) Сервисы персонализации/Personalization engines.
Программные сервисы персонализации как отдельный продукт, сервисы собирают данные, а затем используют возможности машинного обучения для прогнозирования. Пример – центр обработки вызовов, чаты и цифровые киоски.
16) Аналитика, основанная на местоположении (геомаркетинг).
Является основой персонализированного онлайн-маркетинга и включает технологии для сбора истории местоположений потребителей для уточнения профиля клиентов для предоставления наиболее релевантных взаимодействий или предложений.
19) Реклама медийного вида в интернете.
Многократный показ видеороликов, графической и мультимедийной рекламы на разных площадках с отслеживанием переходов по ним.
Источник