» Разное » Мининг это: Технология Data Mining: задачи интеллектуального анализа данных

Мининг это: Технология Data Mining: задачи интеллектуального анализа данных

Содержание

Технология Data Mining: задачи интеллектуального анализа данных

Data Mining — это способ анализа данных, предназначенный для поиска ранее неизвестных закономерностей в больших массивах информации. Эти закономерности дают возможность принятия эффективных управленческих решений и оптимизации бизнес-процессов.

В данной статье будет рассказано о сферах применения технологии Data Mining.

Области применения методов Data Mining 

Методы Data Mining активно применяются в сфере e-commerce, финтехе, IT. Владение инструментами Data Mining дает аналитикам возможность решать самые разнообразные проблемы, например:

  • определения потребностей и желаний клиентов;

  • идентификации клиентов, приносящих максимальную прибыль;

  • повышения лояльности, привлечения и удержание клиентов;

  • анализа эффективности расходов на продвижения товаров и услуг.


Задачи технологии Data Mining

Технология Data Mining выполняет следующие задачи:

задача классификации — определение категории для каждого объекта исследования. В сфере финтеха такой задачей будет оценка кредитоспособности потенциальных заемщиков. Это поможет снизить риски потери средств при работе с некредитоспособными клиентами;

задача прогнозирования, то есть выявление новых возможных значений в определенной числовой последовательности. В e-commerce такая задача решается для предварительной установки цен в зависимости от сезонов и трендов. Благодаря этому можно прогнозировать уровень продаж;

задача кластеризации (сегментации) — разбивка множества объектов на группы по каким-либо признакам. Так, например, сегментация данных о покупателях интернет-магазина по возрасту, полу или предпочтениям помогает формировать для каждой группы специальные предложения;

задача определения взаимосвязей — выявление частоты встречающихся наборов объектов среди множества наборов. Этот способ помогает, в частности, определить состав потребительской корзины и оптимизировать размещение информации о сопутствующих товарах в интернет-магазине;

задача анализа последовательностей — выявление закономерностей в последовательностях событий. Этот анализ можно применять для отслеживания страниц, на которых чаще всего посетители прерывают просмотр сайта. Такой способ работы с данными позволяет устранить недостатки сайтов и повысить его посещаемость;

задача анализа отклонений — определение данных, значительно отличающихся от нормы. Данный анализ используется в финтехе для выявления мошеннических операций с банковскими картами. Он позволяет обеспечить надежную защиту клиентов.

Обучение Data Mining

Анализ данных по технологии Data Mining — это один из необходимых для ведения управленческой деятельности навыков, поэтому ВШБИ НИУ ВШЭ приглашает всех, кто хочет повысить свой профессиональный уровень, пройти переподготовку по программе «Инструментальные средства бизнес-аналитики», в рамках которой проводится теоретическое и практическое обучение сбору и обработке данных с помощью современных цифровых технологий для получения эффективных и нетривиальных управленческих решений.

Записаться на обучение по данной программе можно на нашем сайте.


← Назад к списку

Инструменты Data Mining

Инструменты Data Mining — это наборы программных средств, с помощью которых выполняется подготовка данных и обеспечиваются алгоритмы их интеллектуального анализа, а также осуществляются процессы машинного обучения.

Об основных инструментах Data Mining и о направлениях их применения будет рассказано в представленной статье.

Основные инструменты Data Mining

Инструментарий интеллектуального анализа данных представлен следующими наиболее распространенными средствами:

  • Python — язык программирования, имеющий много полезных для Data Mining. К ним относятся Pandas, отвечающая за обработку данных, Numphy, работающая с матрицами, Sklearn и Pybrain, используемые в алгоритмах машинного обучения, Statsmodels, содержащая основные статистические функции и модели, Matplotlib, позволяющая визуализировать результаты обработки данных;

  • R — язык программирования и программная среда, специализированные для статистической обработки данных, машинного обучения и работы с графиками;

  • Weka — комплекс алгоритмов и инструментов для анализа данных и построения прогностических моделей. Он характеризуется удобством интерфейса, возможностью предварительной очистки данных, поддерживает различные алгоритмы машинного обучения, выводит результаты работы в удобной форме и позволяет сравнивать их точность, представляет ход обработки данных в виде схем взаимосвязей;

  • Rapidminer — инструмент для решения задач, связанных с преобразованиями данных, статистическим анализом, машинным обучением и визуализацией результатов.

Также в Data Mining применяются:

  • SAS Enterprise Miner — пакетный клиент-серверный продукт, предназначенный для оптимизации проведения всех этапов Data Mining, от организации доступа к данным и заканчивая оценкой готовых моделей;

  • PolyAnalyst — система, проводящая автоматического и полуавтоматического анализ числовых массивов информации и извлечения из них нетривиальных данных в виде многомерных нелинейных моделей;

  • Cognos — комплекс программных продуктов для интеллектуального бизнес-анализа (BI-инструменты), работающий с запросами и отчетами;

  • STATISTICA Data Miner — средство универсальной и всесторонней обработки данных, имеющее большой набор готовых решений, гибкий механизм управления и высокую эффективность разведочного анализа;

  • Oracle Data Mining — модуль, используемый для работы с реляционными базами данных и реализующий алгоритмы поиска ассоциаций, кластеризации, классификации, построения регрессионных моделей, поиска существенных атрибутов и выделения признаков.

  • Deductor — платформа, состоящая из хранилищ, в которых находится информация из различных источников данных, и рабочего приложения, выполняющая импорт, обработку, визуализацию и экспорт данных в форме OLAP кубов, отчетов, моделей и закономерностей.

Применение инструментов Data Mining

Инструменты Data Mining чаще всего используются

  • специалистами по анализу данных;

  • маркетологами;

  • специалистами по анализу рисков;

  • маркетинговыми аналитиками;

  • специалистами по предотвращению мошеннических действий.

Обучиться использованию инструментария Data Mining все желающие смогут, пройдя курс профессиональной переподготовки по программе «Инструментальные средства бизнес-аналитики», которую проводит ВШБИ НИУ ВШЭ. Записаться на обучение по данному курсу можно на нашем сайте.


← Назад к списку

Введение в Social Mining | BaseGroup Labs

Понятие социальной сети и её анализа

В жизни человека общество играет важную роль: с детства находящиеся рядом люди оказывают то или иное влияние на нас, происходит непрерывное взаимодействие в социальной сфере (в детском саду, школе, университете, дома, на работе), без которого полноценное развитие личности невозможно.

С середины XX века было опубликовано множество работ ученых-социологов, в том числе и отечественных, где они предлагали различные подходы анализа в сфере общественных отношений. В своих трудах под социальной сетью они понимали структуры людей, связанных друг с другом общими отношениями или интересами. Уже позднее, с появлением Интернета, также стали называть специализированные электронные порталы, о которых будет рассказано позже. Тем не менее понятие «социальная сеть» имеет более широкий смысл. Социолог Градосельская Г. В. предложила следующее определение.

Социальные сети — это особая реальность и особая философия анализа данных, которая позволяет интегрировать различные математические подходы — статистические, системные, имитационные — с современной социальной теорией.

С развитием информационных технологий, а также сети Интернет, взаимоотношения между людьми перешли на новый уровень. Появились электронные порталы, способные отражать те или иные стороны активности человека в обществе, сохранять и накапливать информацию. Особое место занимают виртуальные социальные сети, такие как «Вконтакте», «Мой круг» и другие.

Наряду с этим всегда сохранялось желание понять сущность происходящих в обществе процессов для осуществления более эффективного контроля и управления ими. Таким образом, сложились предпосылки для анализа данных из социальных сетей.

Social Mining – применение методов и алгоритмов Data Mining для поиска и обнаружения зависимостей и знаний в социальных сетях.

Наиболее часто используемое средство для анализа и визуализации в данной области – это граф, где узлами (акторами) являются люди или группы, а дуги демонстрируют взаимоотношения (связи) или потоки информации между узлами.

Какие особенности выделяют социальную сеть при представлении её в качестве графа?

  1. В зависимости от целей построения сети между объектами могут возникать различного рода связи.
  2. Акторы описываются атрибутами: каждый человек (или группа людей) имеет свойственные ему характеристики.
  3. Совокупности разнообразных связей между акторами образуют сетевую структуру (рисунок 1).
  4. Некоторые акторы могут быть связаны друг с другом сильнее, чем с другими. На рисунке 1 жирными линиями показаны более сильные связи, пунктирными – слабые.

Чем больше интересов связывает людей, чем чаще они общаются – тем сильнее связь между ними.

При анализе необходимо учитывать как структуру отношений между акторами, так и местоположение отдельных узлов.

Социальную сеть также можно представить как «большую систему», которая имеет свои свойства. Как единое целое она способна взаимодействовать с окружающей средой и реагировать на происходящие внешние процессы (рисунок 2). С другой же стороны, сеть состоит из отдельных элементов, их связей, свойств и взаимоотношений, функционирующих в соответствии с определенными закономерностями. В этом случае говорят о системном подходе.

Теперь перейдем к сети, которую можно встретить во Всемирной паутине.

Виртуальная социальная сеть

Под виртуальной (онлайновой) социальной сетью понимается социальная структура Интернет-среды, узлы которой составляют организации или отдельные люди, а связи обозначают установленные взаимодействия (политические, корпоративные, служебные, семейные, дружеские, по интересам). Формально данные сети представлены в виде специально разработанных электронных порталов, таких как «Одноклассники», «Вконтакте» и других.

Сразу после регистрации нового участника создается профиль пользователя, в котором изначально содержится информация из заполненных анкетных данных: возраст, пол, семейное положение, интересы, образование и прочее. Этот профиль более «развитый» по сравнению с аналогами в блогах и форумах, так как последние могут быть частью средств общения в социальной сети.

Попадая в виртуальную социальную сеть, человек начинает поиски знакомых или интересных ему людей для общения. Однако нередко возникают ситуации, когда сразу после регистрации участник некоторое время не проявляет активности. На самом деле такое часто бывает и в обычной жизни, когда человек, оказываясь в новом коллективе, поначалу несколько замкнут и не разговорчив. Спустя время происходит освоение в обществе, и эти комплексы пропадают.

Внутри социальной сети образуются различные группы и сообщества по интересам, например, любителей музыки, автомобилей, учебы, работы. Связи между участниками таких объединений довольно сильные, что позволяет их легко идентифицировать. Рассмотрим рисунок 3, где изображен пример описанной ситуации. Внутри группы между участниками связей больше и они сильнее, чем с другими членами социальной сети. В составе сообществ могут появляться подгруппы и подсообщества, таким образом образуя иерархию (на рисунке 3 такое можно наблюдать в группе 1).

В процессе «сетевой жизни» участник пополняет свой профиль новой информацией. Это могут быть данные о его друзья, группах, встречах, сообщениях, комментариях.

Какие инструменты общения используются в них?

  • Блог – сетевой журнал, основным содержимым которого являются регулярно добавляемые записи. Отличия блога от традиционного дневника обусловливаются средой: они обычно публичны и предполагают сторонних читателей, которые могут вступить в публичную полемику с автором. Типичный пример такой социальной сети – livejournal.com
  • Чат предоставляет возможность обмена текстовыми сообщениями между несколькими участниками в режиме online.
  • Пользователь форума может создавать новую «тему», доступную для других. Другие пользователи могут просматривать ее и оставлять свои комментарии в режиме последовательной записи.
  • Вики-справочники – веб-сайты, содержимое которых может редактироваться посетителями сайта.
  • Online игры получили также широкое распространение в социальных сетях и их можно рассматривать в качестве одного из видов взаимодействия людей в сети.

Виртуальная социальная сеть рассматривается также как социально значимый объект, который способен влиять на общество.

Для решения каких задач может помочь Social Mining?

Задачи Social Mining

Анализ информационных потоков позволяет выявить лидеров мнений в социальных сетях, осуществлять управление PR-акциями, поиск мест утечек информации и многое другое.

Какие задачи анализа выделяют в данном случае?

  • Поиск объектов, наиболее активно общающихся с представителями других фирм.
  • Поиск объектов, наиболее активно участвующих в переписке внутри фирмы.
  • Поиск объектов, имеющих наибольшее количество связей.
  • Поиск наиболее «могущественных» объектов.
  • Поиск объектов, имеющих наиболее активный входящий трафик сообщений и т.п.

Анализ информационных потоков применяют в таких сферах, как маркетинг, реклама, безопасность, корпоративная психология и оптимизация сетей.

Персонификация предложений позволяет сделать социальную сеть более эффективной и привлекательной для конечного пользователя. Пример решения данной проблемы может включать в себя следующие этапы:

  • сбор и обогащение информации о пользователях социальной сети;
  • сегментация пользователей;
  • интерпретация и описание сегментов;
  • сегментация гостевых пользователей на базе построенной модели;
  • персонифицированное предоставление информации сегментам пользователей.

Персонифицированное обращение к пользователям сети, выделение их реальных потребностей, кастомизация контента и сервисов являются одними из основных составляющих в процессе привлечения и удержания пользователей.

Поиск аномалий, компьютерных ботов и мошенников. В социальной сети могут быть пользователи с подозрительно высокой активностью, либо их поведение может значительно отличаться от других. Примером этого может быть массовая рассылка спама с целью проведения вирусного маркетинга. Причем в тексте сообщения часто встречаются ссылки на вредоносные ресурсы. Таких пользователей необходимо вовремя находить и применять к ним специальные меры. В этой ситуации используют алгоритмы кластеризации и классификации.

Таким образом, анализ позволяет повысить эффективность политики безопасности в социальной сети.

Social Mining, Web Mining и Data Mining тесно взаимосвязаны между собой. Современные виртуальные социальные сети функционируют в Интернете. Грань между двумя этими направлениями довольно размыта: трудно сказать, где заканчивается одно и начинается другое. Так, проводя комплексный анализ работы виртуальной социальной сети, могут использоваться как решения Social, так и Web Mining, в основе которых в любом случае лежат алгоритмы Data Mining. Разумеется, многое зависит от поставленных целей и задач.

На рисунке 4 схематично изображены этапы, которые включают в себя интеллектуальный анализ социальных сетей в общем случае.

Исходя из всего вышесказанного можно сделать вывод, что интеллектуальный анализ социальной сети – мощный и важный инструмент, дающий информацию для оптимизации её работы, позволяющий проводить успешные маркетинговые компании для увеличения лояльности посетителей, а также обеспечивающий поддержку безопасности. Сложность процессов, протекающих внутри сети, вынуждает осуществлять применение особых методов и алгоритмов для анализа, которые раннее в этой области не применялись.

Литература

  1. Градосельская Г. В. Сетевые измерения в социологии: Учебное пособие. М.: Изд. Дом «Новый учебник», 2004
  2. Давыдов А. А. Системная социология: Social Networks Mining. М.: ИС РАН, 2009.

Between Exchange

Data mining: нужная информация рядом

Последние годы компании активно внедряют в свою деятельность различные средства по цифровой обработке баз данных, стремясь повысить таким образом уровень прибыльности и эффективности бизнеса. В результате, в качестве побочного продукта образовались внушительные объемы сырых данных. И есть все основания полагать, что в них заключен огромный потенциал в виде полезной информации для принятия решений.

Илья Иосифович Пятецкий-Шапиро, автор термина

Data mining (интеллектуальный анализ данных, добыча данных, «просев» информации) — процесс выявления скрытых закономерностей, обнаружения в сырых данных (RAW data) ранее неизвестных, нетривиальных знаний, простых для интерпретации и практически полезных в принятии решений во всех областях человеческой жизни.

Технология Data Mining позволяет выявить среди больших объемов данных закономерности, которые не могут быть обнаружены стандартными способами обработки сведений, но являются объективными и практически полезными. Методы Data Mining основываются на базе различных научных дисциплин: статистки, теории баз данных, искусственного интеллекта, алгоритмизации, визуализации и других наук. Применяется в различных сферах, например, софт Data Mining Ongame.

Обработка данных: отличия Data Mining

Традиционные статистические методы анализа баз данных или системы оперативной аналитической обработки (OLAP) направлены на проверку заранее поставленных задач и гипотез.

По определению Data Mining предназначен для выявления нетривиальных закономерностей.Принципиальное отличие описанной технологии заключено в возможности самостоятельно обнаруживать такие закономерности и выстраивать гипотезы. Таким образом, методы интеллектуальной обработки информации справляются с более сложной задачей: формулировкой самой гипотезы.

Задачи Data Mining

1. Классификация – обнаружение определенных признаков у объектов (событий), позволяющих отнести их к тому или иному ранее известному классу.

2. Кластеризация – это более сложная задача, решаемая инструментами интеллектуального анализа, логически продолжает идеи классификации. Позволяет группировать объекты при изначальном отсутствии самих классов.

3. Ассоциация – поиск закономерностей между связанными событиями. Например, ассоциативное правило, определяющее, что за событием X следует событие Y. В отличие от вышеописанных задач – это ассоциативное выявление закономерностей основывается не на анализе характеристик объекта, а на рассмотрении нескольких событий, происходящих в один момент времени.

4. Последовательность – это установление закономерностей между связанными по времени событиями. Также называется нахождением последовательных шаблонов. Правило последовательности говорит, что через определенное время после события X наступит событие Y.

5. Регрессия и прогнозирование. Обнаружение зависимости выходных данных от переменных входных сведений.

6. Визуализация – графическое представление анализируемой информации.Аналитик данных (data analyst) использует сырые данные для поиска осмысленных, практически важных сведений методами «просева» информации. Задачи, решаемые data scientist, обширны и затрагивают различные научные отрасли, но в то же время дают превосходные результаты.

Внедрение Data Mining, OLAP позволяет обнаружить закономерности в базах данных и использовать полученные сведения для принятия различного рода решений.

Читайте также: Виды данных, Биржа данных, Большие данные по McKinsey, Что такое RTB (Realtime Bidding)

Real-Time Bidding. Новая технология медиабаинга.

Разбираемся, в чем разница между Data Mining и Data Extraction

Два этих модных слова, связанных с Data Science, сбивают с толку многих людей. Data Mining часто неправильно понимают как извлечение и получение данных, но на самом деле все намного сложнее. В этом посте давайте расставим точки над Mining и выясним разницу между Data Mining и Data Extraction.

 

Что такое Data Mining?

Data mining, также называемый Обнаружение знаний в базе данных (KDD), представляет собой метод, часто используемый для анализа больших массивов данных с помощью статистических и математических методов для поиска скрытых закономерностей или тенденций и извлечения из них ценности.

 

Что можно сделать с помощью Data Mining?

Автоматизируя процесс, инструменты data mining могут просматривать базы данных и эффективно выявлять скрытые закономерности. Для предприятий data mining часто используется для выявления закономерностей и взаимосвязей в данных, помогающих принимать оптимальные решения в бизнесе.

 

Примеры применения

После того, как в 1990-х годах data mining получил широкое распространение, компании в широком спектре отраслей, включая розничную торговлю, финансы, здравоохранение, транспорт, телекоммуникации, электронную коммерцию и т.д., начали использовать методы data mining для получения информации на основе данных. Data mining может помочь сегментировать клиентов, выявить мошенничество, прогнозировать продажи и многое другое.

  • Сегментация клиентов
    Благодаря анализу данных о клиентах и выявлению черт целевых клиентов, компании могут выстраивать их в отдельную группу и предоставлять отвечающие их потребностям специальные предложения.
  • Анализ рыночной корзины
    Эта методика основана на теории, что если вы покупаете определенную группу товаров, вы, скорее всего, купите другую группу товаров. Один известный пример: когда отцы покупают подгузники для своих младенцев, они, как правило, покупают пиво вместе с подгузниками.
  • Прогнозирование продаж
    Это может показаться похожим на анализ рыночной корзины, но на этот раз анализ данных используется для прогнозирования того, когда покупатель снова купит продукт в будущем. Например, тренер покупает банку протеина, которой должно хватит на 9 месяцев. Магазин, продающий этот протеин, планирует выпустить новый через 9 месяцев, чтобы тренер снова его купил.
  • Обнаружение мошенничества
    Data mining помогает в построении моделей для обнаружения мошенничества. Собирая образцы мошеннических и правдивых отчетов, предприятия получают право определять, какие операции являются подозрительными.
  • Обнаружение паттернов в производстве
    В обрабатывающей промышленности data mining используется, чтобы помочь в проектировании систем, путем выявления взаимосвязи между архитектурой продукта, профилем и потребностями клиентов. Добыча данных также может предсказать сроки разработки продукции и затраты.

И это лишь несколько сценариев использования data mining.

 

Этапы Data Mining

Data mining — это целостный процесс сбора, отбора, очистки, преобразования и извлечения данных для оценки закономерностей и, в конечном итоге, для извлечения ценности.

Как правило, весь процесс добычи данных можно обобщить до 7 этапов:

  1. Очистка данных
    В реальном мире данные не всегда очищаются и структурируются. Часто они шумные, неполные и могут содержать ошибки. Чтобы удостовериться, что результат data mining точный, сначала необходимо очистить данные. Некоторые методы очистки включают заполнение недостающих значений, автоматический и ручной контроль и т.д.
  2. Интеграция данных
    Это этап, на котором данные из разных источников извлекаются, комбинируются и интегрируются. Источниками могут быть базы данных, текстовые файлы, электронные таблицы, документы, многомерные массивы данных, интернет и так далее.
  3. Выборка данных
    Обычно не все интегрированные данные необходимы в data mining. Выборка данных — это этап, в котором из большой базы данных выбираются и извлекаются только полезные данные.
  4. Преобразование данных
    После выбора данных они преобразуются в подходящие для добычи формы. Этот процесс включает в себя нормализацию, агрегирование, обобщение и т.д.
  5. Интеллектуальный анализ данных
    Здесь наступает самая важная часть data mining — использование интеллектуальных методов для поиска закономерностей в них. Процесс включает регрессию, классификацию, прогнозирование, кластеризацию, изучение ассоциаций и многое другое.
  6. Оценка модели
    Этот этап направлен на выявление потенциально полезных, простых в понимании шаблонов, а также шаблонов, подтверждающих гипотезы.
  7. Представление знаний
    На заключительном этапе полученная информация представлена в привлекательном виде с применением методов представления знаний и визуализации.

 

Недостатки Data Mining

 

  • Большие вложения времени и труда
    Поскольку добыч данных — это длительный и сложный процесс, он требует большой работы продуктивных и квалифицированных людей. Специалисты по интеллектуальному анализу данных могут воспользоваться мощными инструментами добычи данных, однако им требуются специалисты для подготовки данных и понимания результатов. В результате на обработку всей информации может потребоваться некоторое время.
  • Приватность и безопасность данных
    Поскольку data mining собирает информацию о клиентах с помощью рыночных методов, она может нарушить конфиденциальность пользователей. Кроме того, хакеры могут получить данные, хранящиеся в системах добычи данных. Это представляет угрозу для безопасности данных клиентов. Если украденные данные используются не по назначению, это может легко навредить другим.

 

Выше приведено краткое введение в data mining. Как я уже упоминала, data mining содержит процесс сбора и интеграции данных, который включает в себя процесс извлечения данных (data extraction). В этом случае можно с уверенностью сказать, что data extraction может быть частью длительного процесса data mining.

 

Что такое Data Extraction?

Также известное как «извлечение веб-данных» и «веб-скрепинг», этот процесс представляет собой акт извлечения данных из (обычно неструктурированных или плохо структурированных) источников данных в централизованные места и централизацию в одном месте для хранения или дальнейшей обработки. В частности, к неструктурированным источникам данных относятся веб-страницы, электронная почта, документы, файлы PDF, отсканированный текст, отчеты мейнфреймов, катушечные файлы, объявления и т.д. Централизованные хранилища могут быть локальными, облачными или гибридными. Важно помнить, что извлечение данных не включает в себя обработку или другой анализ, который может произойти позже.

 

Что можно сделать с помощью Data Extraction?

В основном цели извлечения данных делятся на 3 категории.

  • Архивация
    Извлечение данных может преобразовать данные из физических форматов: книг, газет, счетов-фактур в цифровые форматы, например, базы данных для хранения или резервного копирования.
  • Изменение формата данных
    Когда вы хотите перенести данные с вашего текущего сайта на новый, находящийся в стадии разработки, вы можете собрать данные с вашего собственного сайта, извлекая их.
  • Анализ данных
    Распространен дополнительный анализ извлеченных данных для получения представления о них. Это может показаться похожим на анализ данных при data mining, но учтите, что анализ данных — это цель их извлечения, но не его часть. Более того, данные анализируются иначе. Один из примеров: владельцы интернет-магазинов извлекают информацию о продукте с сайтов электронной коммерции, таких как Amazon, для мониторинга стратегий конкурентов в режиме реального времени. Как и data mining, data extraction — это автоматизированный процесс, имеющий множество преимуществ. Раньше люди копировали и вставляли данные вручную из одного места в другое, что занимало очень много времени. Извлечение данных ускоряет сбор и значительно повышает точность извлекаемых данных.

 

Некоторые примеры применения Data Extraction

Подобно data mining, извлечение данных широко используется в различных отраслях промышленности. Помимо мониторинга цен в электронной коммерции, извлечение данных может помочь в собственном исследовании, агрегировании новостей, маркетинге, в работе с недвижимостью, путешествиях и туризме, в консалтинге, финансах и во многом другом.

  • Лидогенерация
    Компании могут извлекать данные из каталогов: Yelp, Crunchbase, Yellowpages и генерировать лидов для развития бизнеса. Вы можете посмотреть видео ниже, чтобы узнать, как извлечь данные из Yellowpages с помощью шаблона веб-скрепинга.
  • Агрегация контента и новостей
    Агрегирующие контент веб-сайты могут получать регулярные потоки данных из нескольких источников и поддерживать свои сайты в актуальном состоянии.
  • Анализ настроений
    После извлечения обзоров, комментариев и отзывов из социальных сетей, таких как Instagram и Twitter, специалисты могут проанализировать лежащие в их основе взгляды и получить представление о том, как воспринимается бренд, продукт или некое явление.

 

Шаги Data Extraction

Извлечение данных — первый этап ETL (аббревиатура Extract, Transform, Load: извлечение, преобразование, загрузка) и ELT (извлечение, загрузка и преобразование). ETL и ELT сами по себе являются частью завершенной стратегии интеграции данных. Другими словами, извлечение данных может быть частью их добычи.
Извлечение, преобразование, загрузка

В то время как data mining — это получение информации из больших массивов данных, data extraction — это гораздо более короткий и простой процесс. Его можно свести к трем этапам:

  1. Выбор источника данных
    Выберите источник, данные из которого вы хотите извлечь, например, веб-сайт.
  2. Сбор данных
    Отправьте «GET» запрос на сайт и проанализируйте полученный документ HTML с помощью языков программирования, таких как Python, PHP, R, Ruby и др.
  3. Хранение данных
    Сохраните данные в своей локальной базе данных или в облачном хранилище для будущего использования. Если вы опытный программист, который хочет извлечь данные, вышеуказанные шаги могут показаться вам простыми. Однако, если вы не программируете, есть короткий путь — использовать инструменты извлечения данных, например Octoparse. Инструменты data extraction, так же как и инструменты data mining, разработаны для того, чтобы сэкономить энергию и сделать обработку данных простой для всех. Эти инструменты не только экономичны, но и удобны для начинающих. Они позволяют пользователям собирать данные в течение нескольких минут, хранить их в облаке и экспортировать их во многие форматы: Excel, CSV, HTML, JSON или в базы данных на сайте через API.

 

Недостатки Data Extraction

 

  • Сбой сервера
    При извлечении данных в больших масштабах веб-сервер целевого сайта может быть перегружен, что может привести к поломке сервера. Это нанесет ущерб интересам владельца сайта.
  • Бан по IP
    Когда человек слишком часто собирает данные, веб-сайты могут заблокировать его IP-адрес. Ресурс может полностью запретить IP-адрес или ограничить доступ, сделав данные неполными. Чтобы извлекать данные и избегать блокировки, нужно делать это с умеренной скоростью и применять некоторые методы антиблокировки.
  • Проблемы с законом
    Извлечение данных из веба попадает в серую зону, когда дело касается законности. Крупные сайты, такие как Linkedin и Facebook, четко заявляют в своих условиях использования, что любое автоматическое извлечение данных запрещено. Между компаниями было много судебных исков из-за деятельности ботов.

 

Ключевые различия между Data Mining и Data Extraction

 

  1. Data mining также называется обнаружением знаний в базах данных, извлечением знаний, анализом данных/шаблонов, сбором информации. Data extraction используется взаимозаменяемо с извлечением веб-данных, сканированием веб-страниц, сбором данных и так далее.
  2. Исследования data mining в основном основаны на структурированных данных, тогда как при извлечении данных они обычно извлекаются из неструктурированных или плохо структурированных источников.
  3. Цель data mining — сделать данные более полезными для анализа. Data extraction — это сбор данных в одно место, где они могут быть сохранены или обработаны.
  4. Анализ при data mining основан на математических методах выявления закономерностей или тенденций. Data extraction базируется на языках программирования или инструментах извлечения данных для обхода источников.
  5. Цель data mining — найти факты, которые ранее не были известны или игнорировались, тогда как data extraction имеет дело с существующей информацией.
  6. Data mining сложнее и требует больших вложений в обучение людей. Data extraction при использовании подходящего инструмента может быть чрезвычайно простым и экономичным.

 

 

Технология Data mining, её применение и характеристики

1. Определение

Технология Data mining – интеллектуальная обработка данных с использованием методов машинного обучения, математической статистики и теории баз данных. 

2. История создания и развития

Термин «data mining» появился в 1990-х годах, но как таковая обработка данных возникла в 18 веке, основываясь на теореме Байеса, чуть позже на регрессионном анализе. 

По мере того как количество данных росло, изобретались новые технологии в области информатики (нейронные сети, генетические алгоритмы, метод деревьев решений и т.д.), появлялась возможность хранения большого количества данных и увеличение скорости обработки информации компьютерами интерес к data mining стремительно рос и вскоре обработка данных стала считаться отдельной дисциплиной. Сейчас data mining включает в себя обработку не только текстовых данных (text data mining), но и графических и мультимедийных(web mining).

Устоявшегося перевода словосочетания «data mining» на русский язык нет, дословно это переводится как «добыча данных». Но чаще всего используют формулировку «интеллектуальная обработка данных».

В настоящее время data mining является частью большего понятия – Big data, которое помимо обработки данных включает в себя их сбор и хранение.

3. Технические характеристики

Фундаментально data mining основывается на 3-х понятиях:

  • Математическая статистика – является основой большинства технологий, используемых для data mining, например, кластерный анализ, регрессионный анализ, дискриминирующий анализ и пр.;

  • Искусственный интеллект – воспроизведение нейронной сети мышления человека в цифровом виде;

  • Машинное обучение – совокупность статистики и искусственного интеллекта, способствующая пониманию компьютерами данных, которые они обрабатывают для выбора наиболее подходящего метода или методов анализа.

В data mining используются следующие основные классы задач:·   

  • обнаружение отклонений – выявление данных, отличающихся по каким-либо параметрам из общей массы;

  • обучение ассоциациям – поиск взаимосвязей между событиями;

  • кластеризация – группирование наборов данных, без заранее известных шаблонов;

  • классификация – обобщение известного шаблона для применения к новым данным;

  • регрессия – поиск функции, отображающей набор данных с наименьшим отклонением;

  • подведение итогов – отображение в сжатом виде исходной информации, включая предоставление отчетов и визуализацию.

4. Кейсы применения

Сегодня data mining широко используется в бизнесе, науке, технике, медицине, телекоммуникациях и т.п. Анализ данных по операциям с кредитными картами, анализ данных ЖКХ, программы карт лояльности в магазинах с учетом предпочтения покупателей, национальная безопасность (обнаружение вторжений), исследование генома человека – всего лишь небольшая часть возможных вариантов применения data mining.

5. Полезные ссылки

SAP Process Mining by Celonis

Как происходит сейчас и что предлагает SAP

Часто с такими задачами компании обращаются к консультантам. Что сегодня предлагает рынок консалтинга для решения этой задачи? Проведение интервью с сотрудниками и фиксация в отчете их субъективной оценки процессов. А видеть они его могут так, как левую тропинку на картинке. Или вообще могут не знать, какой должна быть эта тропинка. Появляется проблема: как увидеть объективную реальность, а не интерпретацию чей-то точки зрения? Это касается любых бизнес-процессов — закупок, продаж, логистики и т.д.

Решение SAP Process Mining by Celonis позволяет видеть «цифровые следы» сотрудников компании. Если бизнес достаточно оцифрован, мы можем увидеть процесс вне зависимости от того, в какой системе или комплексе систем он реализовывается и оценить его соответствие политикам, стандартам и референсным моделям.

Например, на рисунке выше пользователь осуществляет целый ряд транзакций для создания сбытового заказа. Он регистрирует заказ на поставку, оформляет отгрузку со склада, отправляет клиенту подтверждение, отдает ему счет-фактуру, получает оплату. В момент, когда пользователь проводит в системе (или системах) операции, это создает транзакционный лог, в котором фиксируется кто, что и когда сделал со всеми необходимыми деталями.

Такие логи можно собирать из любых систем и даже из текстовых файлов. У SAP Process Mining by Celonis есть алгоритмы, позволяющие собирать их и превращать в графы — наглядные схемы, которые показывают, как реально выглядит процесс без чьей-либо интерпретации (пример справа).

В итоге вы можете видеть узкие места на каждом участке. Например, где-то скопились заказы, и менеджер не может их быстро обработать. Celonis позволяет быстро выявить эту проблему и разобраться с ее причиной — нехватка ресурсов, системный сбой или в целом сам процесс методологически выстроен не оптимально.

Анализ процессов работы с кредитными заявками

На рисунке ниже мы видим граф процесса «Обработка заявки на кредит». Каждый шарик красного цвета – это кредитная заявка. Размер шарика определяется стоимостью кредитной заявки (на какую сумму претендует заявитель). Посмотрев на граф, мы видим, что между некоторыми активностями образовываются очереди из шариков – линии красного цвета. Это говорит о том, что в указанный момент времени заявки скапливаются между этапами или долго проходят обработку. Причины могут быть разные: нехватка ресурсов, персонала, особенности регламента процессы, квалификация сотрудников и другие причины.

Анализ процессов в компаниях с филиальной сетью

Также узкие места отлично проявляются в компаниях с филиальной сетью, где процессы могут сильно отличаться в каждой точке. Они формируются исторически — в каждом филиале могут быть разные информационные системы, разные методологии и подходы. В подобной ситуации рано или поздно головная компания захочет их привести к единому шаблону для того, чтобы было проще контролировать. Задача Process Mining — как раз показать разницу между филиальным процессом и эталоном, а также — что необходимо сделать, чтобы привести процессы в филиалах к единому стандарту. На рисунке ниже приведен пример сравнения двух филиалов: справа – эталонный, слева – требующий изменения.

Роботизация процессов

Также Process Mining применим и для задач по роботизации. При помощи этого метода управления процессами можно увидеть, где существует много рутинных задач и подумать, как их можно роботизировать.

Например, в компании часто происходит корректировка цен на заказы от определённых поставщиков и на некоторые группы материалов. А сколько времени тратят сотрудники для корректировки цен для 145 тыс. заказов в год, на каждый из которых уходит по 40 минут? Сколько времени и ресурсов можно сэкономить, если сократить данный объем работ хотя бы на 30%? На сколько при этом сократится длительность цикла закупок, если роботизировать этот процесс? В итоге люди высвободятся на решение аналитических и управленческих задач. На рисунке 6 приведена таблица с перечнем поставщиков, по которым происходит большое количество ручных корректировок.

Предотвращение мошенничества

Process Mining позволяет «отлавливать» и сценарии с мошенничеством (fraud). Допустим, в компании за каждым менеджером закреплена определенная территория продаж с магазинами, в которые нужно продать товар. На уровне системы НСИ данная связь закреплена и затем транслируется в CRM-систему и систему отчетности.

Что происходит в конце года? Продавец заходит в эту систему и открепляет несколько магазинов, в которые он не сумел продать товар. И получается, что его план продаж выполнен теперь не на 80%, а на 100%. Ему выплачивают премию, ведь он же сделал свой план. Проходит время, начинается новый год, и он заново добавляет себе эти два магазина. Проведя внутреннее расследование при помощи Process Mining, выясняется, что у менеджеров и их коллег были права доступа в систему, возможность менять данные и вносить корректировки. Пример отчета по управлению правами и полномочиями приведен на рисунке ниже.

Проекты — Mining IT Force

1,00 Ярамоко (текущий) Ярамоко (en Cours) Roxgold Roxgold Шахта в эксплуатации Шахта в эксплуатации Аудит ИТ-безопасности и управление ИТ-рисками. Audit de Sécurité Informatique et Gestion des Risques liés aux TI Буркина-Фасо Буркина-Фасо
2,00 Quebec Lithium (в процессе производства) Квебек Литий (en Cours) Jien Canada Mining Jien Canada Mining Шахтное строительство Строительство ERP и бизнес — Бухгалтерский учет, закупки, инвентаризация, ведение) ERP et Affaires — Comptabilité, Achats, Inventaire, Техническое обслуживание Канада Канада
3,00 Mont-Wright (текущий) Mont-Wright (en Cours) Арселор Миттал Майнз Канада Арселор Миттал Майнз Канада Шахта в эксплуатации Шахта в эксплуатации ИТ-инфраструктура — Сетевой аудит — Анализ транспортного потока Инфраструктура Réseau — Audit Réseau — Анализируйте du Traffic Réseau
4,00 Kodiéran (текущий) Kodiéran (En Cours) Wassoul’Or Wassoul’Or Шахтное строительство Строительство ИТ-системы — Закупка — Инвентарь — Техническое обслуживание ИТ-системы — Закупка — Инвентарь — Техническое обслуживание Мали Мали
5,00 Ярамоко Ярамоко Roxgold Roxgold Шахтное строительство Строительство ИТ-инфраструктура — Сетевая архитектура, VSAT, Телеком — Серверная и виртуальная архитектура — ИТ-безопасность, защита данных, DRP и BCP — И.о. ИТ-менеджера по управлению проектами ИТ-системы — Полная ERP (Бухгалтерский учет, закупки, инвентаризация, сопровождение) ИТ-инфраструктура — Сетевая архитектура, VSAT, Телеком — Серверная и виртуальная архитектура — ИТ-безопасность, защита данных, DRP и BCP — И.о. ИТ-менеджера по управлению проектами ИТ-системы — Полная ERP (Бухгалтерский учет, закупки, инвентаризация, сопровождение) Буркина-Фасо Буркина-Фасо
6,00 Карма Карма Truegold (Индевор Майнинг) Truegold (Индевор Майнинг) Шахтное строительство Шахта и строительство ИТ-инфраструктура — Сетевая архитектура, VSAT, Телеком — Серверная и виртуальная архитектура — ИТ-безопасность, защита данных, DRP и BCP — И.о. ИТ-менеджера по управлению проектами ИТ-системы — Полная ERP (бухгалтерский учет, закупки, инвентаризация, обслуживание) — Система отслеживания топлива — Управление транзитным переводом ИТ-инфраструктура — Сетевая архитектура, VSAT, Телеком — Серверная и виртуальная архитектура — ИТ-безопасность, защита данных, DRP и BCP — И.о. ИТ-менеджера по управлению проектами ИТ-системы — Полная ERP (бухгалтерский учет, закупки, инвентаризация, обслуживание) — Система отслеживания топлива — Управление транзитным переводом Буркина-Фасо Буркина-Фасо
7,00 Канадские роялти Канадские роялти Jien Mining Canada Jien Mining Canada Шахта Операция ИТ-инфраструктура и управление.ИТ Бизнес услуги ИТ-инфраструктура и управление. IT Бизнес-услуги Канада Канада
8,00 Канадские роялти Канадские роялти Jien Mining Canada Jien Mining Canada Шахтное строительство Строительство ИТ-инфраструктура — Сетевая архитектура, VSAT, Телеком — Серверная и виртуальная архитектура — ИТ-безопасность, защита данных, DRP и BCP — И.о. ИТ-менеджера по управлению проектами ИТ-системы — Полная ERP (бухгалтерский учет, закупки, инвентаризация, обслуживание) — Управление поездками — Отправлять — КПИ ИТ-инфраструктура — Сетевая архитектура, VSAT, Телеком — Серверная и виртуальная архитектура — ИТ-безопасность, защита данных, DRP и BCP — И.о. ИТ-менеджера по управлению проектами ИТ-системы — Полная ERP (бухгалтерский учет, закупки, инвентаризация, обслуживание) — Управление поездками — Отправлять — КПИ Канада Канада
9,00 Малартик Малартик Канадское Малартик Партнерство (Осиско) Канадское Малартик Партнерство (Осиско) Шахтное строительство Строительство ИТ-инфраструктура — Нет данных ИТ-системы — Полная ERP (Бухгалтерский учет, закупки, инвентаризация, сопровождение) ИТ-инфраструктура — Нет данных ИТ-системы — Полная ERP (Бухгалтерский учет, закупки, инвентаризация, сопровождение) Канада Канада
10,00 Шахты Richmont Шахты Richmont Шахта Операция ИТ-инфраструктура — Нет данных ИТ-системы — Бухгалтерский учет — Зарплата ИТ-инфраструктура — Нет данных ИТ-системы — Бухгалтерский учет — Зарплата Канада Канада
11,00 Метанор Ресурсы Метанор Ресурсы Шахта Шахта в эксплуатации ИТ-системы — Бухгалтерский учет — Зарплата ИТ-системы — Бухгалтерский учет — Зарплата Канада Канада
12,00 маны маны Semafo Semafo Шахтное строительство Строительство ИТ-инфраструктура — Сетевая архитектура, VSAT, Телеком — Серверная и виртуальная архитектура — ИТ-безопасность, защита данных, DRP и BCP — И.о. ИТ-менеджера по управлению проектами ИТ-системы — Полная ERP (Бухгалтерский учет, закупки, инвентаризация, сопровождение) ИТ-инфраструктура — Сетевая архитектура, VSAT, Телеком — Серверная и виртуальная архитектура — ИТ-безопасность, защита данных, DRP и BCP — И.о. ИТ-менеджера по управлению проектами ИТ-системы — Полная ERP (Бухгалтерский учет, закупки, инвентаризация, сопровождение) Буркина-Фасо Буркина-Фасо
13,00 Камото Камото Горнодобывающая промышленность Катанги Горнодобывающая промышленность Катанги Восстановление шахты Реабилитация ИТ-инфраструктура — Сетевая архитектура, VSAT, Телеком — Серверная и виртуальная архитектура — ИТ-безопасность, защита данных, DRP и BCP — И.о. ИТ-менеджера по управлению проектами
14,00 Тирек-Амесмесса Тирек-Амесмесса Enor SPA Enor SPA Шахтное строительство Строительство ИТ-инфраструктура — Сетевая архитектура, VSAT, Телеком — Серверная и виртуальная архитектура — ИТ-безопасность, защита данных, DRP и BCP — И.о. ИТ-менеджера по управлению проектами ИТ-системы — Полная ERP (Бухгалтерский учет, закупки, инвентаризация, сопровождение) ИТ-инфраструктура — Сетевая архитектура, VSAT, Телеком — Серверная и виртуальная архитектура — ИТ-безопасность, защита данных, DRP и BCP — И.о. ИТ-менеджера по управлению проектами ИТ-системы — Полная ERP (Бухгалтерский учет, закупки, инвентаризация, сопровождение) Алжир Алжир
15,00 Тапарко Тапарко Хай Ривер Голд Хай Ривер Голд Шахтное строительство Строительство ИТ-инфраструктура — Сетевая архитектура, VSAT, Телеком — Серверная и виртуальная архитектура — ИТ-безопасность, защита данных, DRP и BCP — И.о. ИТ-менеджера по управлению проектами ИТ-системы — Полная ERP (Бухгалтерский учет, закупки, инвентаризация, сопровождение) ИТ-инфраструктура — Сетевая архитектура, VSAT, Телеком — Серверная и виртуальная архитектура — ИТ-безопасность, защита данных, DRP и BCP — И.о. ИТ-менеджера по управлению проектами ИТ-системы — Полная ERP (Бухгалтерский учет, закупки, инвентаризация, сопровождение) Буркина-Фасо Буркина-Фасо
16,00 SML SML Semafo Semafo Шахтное строительство Шахта и строительство ИТ-инфраструктура — Сетевая архитектура, VSAT, Телеком — Серверная и виртуальная архитектура — ИТ-безопасность, защита данных, DRP и BCP — И.о. ИТ-менеджера по управлению проектами ИТ-системы — Полная ERP (Бухгалтерский учет, закупки, инвентаризация, сопровождение) ИТ-инфраструктура — Сетевая архитектура, VSAT, Телеком — Серверная и виртуальная архитектура — ИТ-безопасность, защита данных, DRP и BCP — И.о. ИТ-менеджера по управлению проектами ИТ-системы — Полная ERP (Бухгалтерский учет, закупки, инвентаризация, сопровождение) Нигер Нигер
17,00 Essakane Essakane Орезона Орезона Шахтное строительство Шахта и строительство ИТ-инфраструктура — Сетевая архитектура, VSAT, Телеком — Серверная и виртуальная архитектура — ИТ-безопасность, защита данных, DRP и BCP — И.о. ИТ-менеджера по управлению проектами ИТ-системы — Полная ERP (Бухгалтерский учет, закупки, инвентаризация, сопровождение) ИТ-инфраструктура — Сетевая архитектура, VSAT, Телеком — Серверная и виртуальная архитектура — ИТ-безопасность, защита данных, DRP и BCP — И.о. ИТ-менеджера по управлению проектами ИТ-системы — Полная ERP (Бухгалтерский учет, закупки, инвентаризация, сопровождение) Буркина-Фасо Буркина-Фасо
18,00 Беллависта Беллависта Metales Processados ​​ Metales Processados ​​ Шахтное строительство Шахта и строительство ИТ-инфраструктура — Нет данных ИТ-системы — Полная ERP (Бухгалтерский учет, закупки, инвентаризация, сопровождение) ИТ-инфраструктура — Нет данных ИТ-системы — Полная ERP (Бухгалтерский учет, закупки, инвентаризация, сопровождение) Коста-Рика Коста-Рика
19,00 Киньеро Киньеро Semafo Semafo Шахтное строительство Шахта и строительство ИТ-инфраструктура — Сетевая архитектура, VSAT, Телеком — Серверная и виртуальная архитектура — ИТ-безопасность, защита данных, DRP и BCP — И.о. ИТ-менеджера по управлению проектами ИТ-системы — Полная ERP (Бухгалтерский учет, закупки, инвентаризация, сопровождение) ИТ-инфраструктура — Сетевая архитектура, VSAT, Телеком — Серверная и виртуальная архитектура — ИТ-безопасность, защита данных, DRP и BCP — И.о. ИТ-менеджера по управлению проектами ИТ-системы — Полная ERP (Бухгалтерский учет, закупки, инвентаризация, сопровождение) Гвинея Guinée
20,00 Сан-Мартин Сан-Мартин Starcore ventures Starcore ventures Шахта Шахта в эксплуатации ИТ-инфраструктура — Нет данных ИТ-системы — Полная ERP (Бухгалтерский учет, закупки, инвентаризация, сопровождение) ИТ-инфраструктура — Нет данных ИТ-системы — Полная ERP (Бухгалтерский учет, закупки, инвентаризация, сопровождение) Мексика Мексика

Что такое Process Mining? | Celonis

Что такое процесс?

Давайте вернемся к основам и сначала определим процессы.

Процесс — это последовательность действий или шагов, повторяемых в последовательности от определенного или распознанного «начала» до определенного или распознанного «конца». Цель процесса — установить и поддерживать общепринятый поток, который позволяет выполнять задачу максимально эффективно и последовательно.

Каждый шаг процесса оставляет цифровой след в ваших транзакционных системах в виде данных журнала событий. Используя эти данные, интеллектуальный анализ процессов работает , чтобы создать живую картину того, как на самом деле выглядят ваши процессы , что не всегда соответствует определению этого конкретного процесса.

Конечно, некоторые этапы процесса не обязательно выполняются в транзакционной системе — например, отправка электронной почты или открытие электронной таблицы. Интеллектуальный анализ задач — это технология, которая собирает данные о настольных компьютерах пользователей. В сочетании с интеллектуальным анализом процессов он дает наиболее полное представление о том, как выполняется работа в организации.

Каковы общие бизнес-процессы?

Общие бизнес-процессы включают, например, процессы «Покупка до оплаты» (P2P), «От заказа до оплаты» (O2C) или обслуживания клиентов.И хотя почти у каждой компании есть какая-то версия этих процессов в качестве основы своего бизнеса, существует множество других, которые поддерживают повседневную деятельность компании, в том числе:

Это, конечно, всего лишь образец. Более того, разные компании определяют определенные процессы по-разному в зависимости от потребностей своего бизнеса, используемых ими систем и других переменных.

По своей природе процессы не статичны и не всегда следуют определенному для них пути.Даже самые лучшие планы рушатся, и со временем эти отклонения могут стать правилом.

Динамичные рынки также вызывают изменения: ожидания клиентов, новые линейки продуктов, приобретения, изменение географического положения и многое другое может повлиять на способность процесса работать на полную мощность. Именно здесь на помощь приходит интеллектуальный анализ процессов, поскольку он позволяет владельцам процессов находить и устранять неэффективность своих бизнес-процессов, предоставляя им полную видимость в реальном времени.

Отличное исполнение — в вашем процессе

Процессы — это повседневная работа вашего предприятия.Вот почему целых отдела и команды посвящены совершенствованию процессов, — и почему интеллектуальный анализ процессов является неотъемлемой частью их набора инструментов. Автоматизированное отображение, обнаружение и аналитика процессов позволяют специалистам по совершенствованию процессов анализировать и улучшать свои процессы , чтобы убедиться, что они работают оптимально и достигают тех результатов, для достижения которых они были предназначены.

Когда все работает эффективно, компания достаточно гибкая, чтобы легко адаптироваться к внешним силам, оставляя больше времени для увеличения доходов за счет внутренних инноваций, повышения качества и укрепления отношений с клиентами.

За преобразованием горнодобывающих технологий

McKinsey Metals & Mining опубликовала доклад 2015 года, в котором предсказывалась технологическая трансформация горнодобывающей промышленности. В документе были определены некоторые потенциально важные инновации, которые, по нашему мнению, революционизируют методы работы шахт и обеспечат столь необходимый прирост производительности.

Будьте в курсе ваших любимых тем

С тех пор многие из этих инноваций реализовали свой потенциал.Цифровые технологии — при внедрении с изменением руководства и мышления — приводят к значительным улучшениям в работе. Например, расширенная аналитика и датчики помогают снизить затраты на техническое обслуживание и сократить время простоя, одновременно повышая производительность и восстановление химических веществ. Робототехника и полуавтономное оборудование выводят людей из шахт, снижая затраты и риски. В Западной Австралии горняки, использующие технологию автономных перевозок, сообщили о повышении производительности на 20 процентов.

Не случайно, согласно исследованиям McKinsey, общая производительность горнодобывающей промышленности выросла примерно в 2 раза.8 процентов в год в период с 2014 по 2016 год — период умеренного роста производства. В основе этого повышения производительности лежат две основные тенденции: рост производительности труда, который позволил ежегодно сокращать численность персонала на 3 процента, и жестко контролируемые капитальные расходы и расходы на нетрудовые операции (Иллюстрация 1).

Приложение 1

Мы стремимся предоставить людям с ограниченными возможностями равный доступ к нашему сайту. Если вам нужна информация об этом контенте, мы будем рады работать с вами.Напишите нам по адресу: [email protected]

Отчасти заслуга в этом улучшении должна быть отдана созреванию бережливого управления, бережливых операционных систем и усовершенствований «Шесть сигм». Но эти улучшения выдержать будет труднее. С каждым годом работа усложняется. Содержание руды снижается, в то время как из-за нехватки воды активы находятся в недрах земли, а получение операционных лицензий становится все труднее.

Технологии, в частности искусственный интеллект (ИИ) и машинное обучение, автоматизация и робототехника, цифровая мобильная связь, промышленный Интернет вещей и современная архитектура данных (включая облако), могут помочь отрасли решить эти и другие задачи.Это также может помочь уменьшить воздействие отрасли на окружающую среду, уберечь рабочих от опасности, превратить неэкономичные резервы в экономию и сделать работу менее повторяющейся и менее напряженной.

Тем не менее, многие компании все еще не могут принять трансформацию с помощью технологий. По нашему опыту, правильная разработка технологий — это лишь часть головоломки. Есть много примеров компаний, которые инвестировали в технологии и не добились улучшений, потому что они пренебрегли другими жизненно важными двигателями трансформации, основанной на технологиях, системами управления и культурой.

Три двигателя для внесения изменений с учетом технологий

Для достижения устойчивых изменений необходимо больше, чем сосредоточиться на технологиях. Так же, как и в случае с улучшением, основанным на бережливом производстве или на основе шести сигм, компаниям необходимо применять целостный подход к трансформации. Не существует технологической серебряной пули, которую компании могут купить для достижения своих целей. Вместо этого есть три взаимозависимых механизма, которые управляют либо трансформационным, либо более мелким технологическим изменением операционной системы (Иллюстрация 2).Это:

  1. Используйте технологии, включая цифровые технологии, аналитику и автоматизацию в масштабах всей организации, для решения ключевых задач, связанных с производительностью, безопасностью, удовлетворенностью клиентов и управлением цепочками поставок.
  2. Адаптируйте системы управления (например, рабочие процессы), чтобы компания могла реализовать потенциал, предлагаемый новыми технологиями.
  3. Измените культуру и возможности, чтобы сделать организацию более гибкой и быстро реагирующей, которая сможет извлекать выгоду из современных технологий и адаптироваться к ним.

Приложение 2

Мы стремимся предоставить людям с ограниченными возможностями равный доступ к нашему сайту. Если вам нужна информация об этом контенте, мы будем рады работать с вами. Напишите нам по адресу: [email protected]

1. Жгуты

Среди множества улучшений, достигнутых горнодобывающими компаниями за счет использования современных технологий:

Повышение пропускной способности и восстановления

На некоторых рудниках системы расширенной аналитики собирают все данные в среде концентрации и используют их для улучшения процессов.Вместо достижения локального оптимума за счет автоматического управления технологическим процессом этот подход обеспечивает глобальный оптимум. Это может повысить выработку энергии. Сегодня нет ничего необычного в том, чтобы увидеть возможности увеличения извлечения полезных ископаемых на 1–3 процента и увеличения производительности на 4–8 процентов при одновременном снижении энергопотребления. Это может означать повышение производительности от 5 до 10 процентов, что примерно соответствует открытию нового рудника, если оно применяется на территории типичной горнодобывающей компании, без капитальных затрат.

Один металлургический рудник использует передовую аналитику и машинное обучение для разработки «промышленного контроллера контроллеров» для увеличения производительности и добычи полезных ископаемых. Компания собирает данные с более чем 150 датчиков для средних и крупных обогатительных фабрик. Алгоритм предсказывает поведение установки и предлагает ряд рекомендаций по оптимизации на основе контролируемых переменных. План рассматривается руководителями завода, которые принимают предложения, которые имеют смысл, и ставят под сомнение те, кто этого не делает.Воздействие внедренных изменений измеряется на постоянной основе для уточнения программы.

Хотите узнать больше о нашей металлургической и горнодобывающей практике?

В другом примере на металлургическом руднике использовались датчики промышленного Интернета вещей в сочетании с централизованным хранилищем данных и передовым машинным обучением, чтобы повысить извлечение химических веществ из процесса экстракции на 10–15 процентов. Датчики собирают данные об отходах в режиме реального времени, а модель машинного обучения вычисляет оптимальные параметры для извлечения (например) гидроксида натрия, повышая производительность по сравнению с теми, которые операторы могли достичь ранее.Это позволило сэкономить химикаты на миллионы долларов и снизить воздействие хвостохранилищ на окружающую среду.

Оптимизация обслуживания

Технология помогает шахтам проводить техническое обслуживание, когда это необходимо, а не по фиксированному графику. Одна компания использовала датчики и машинное обучение для профилактического обслуживания очень больших (20-тонных) теплообменников. Модель смогла предсказать, когда обменники выйдут из строя, сократив обслуживание с одного раза в 70 дней до одного раза в 160-200 дней.Учитывая, что было установлено несколько десятков теплообменников, экономия средств была значительной.

Ремонтники также могут извлечь выгоду из технологий. Рабочие, отвечающие за насосы, теперь могут носить с собой телефон или планшет, который знает, где находятся работники и на каком оборудовании они работают. Система может отображать историю обслуживания определенного актива, отображать рабочее задание и показывать шаги, которые необходимо выполнить для завершения работы. Это может включать такие детали, как уровень крутящего момента для затяжки гайки или инструкции по установке уплотнительного кольца.В предстоящие годы дополненная реальность будет все больше служить этой цели, даже если эксперт от производителя актива появится (виртуально), чтобы помочь работнику.

Снижение эксплуатационных расходов

Некоторые из самых далеко идущих изменений в горнодобывающей промышленности, вероятно, произойдут в результате использования робототехники. Автономное оборудование работает непрерывно, с меньшей изменчивостью и практически всегда в пределах допустимых отклонений, рекомендованных производителем, что сокращает объем технического обслуживания, а также сокращает численность персонала. Кроме того, по сравнению с процессами, управляемыми человеком, роботизированная согласованность может быть более подвержена методологиям постоянного улучшения.Это оказывает широкое влияние на множество процессов, начиная от обслуживания дорог и заканчивая тем, как вернуться на лопату.

Коммерческие автономные самосвалы теперь доказали свою пригодность для карьеров с подходящей структурой затрат. Эти грузовики сами едут между погрузкой и разгрузкой. Еще одна широко распространенная машина — это автономные буровые установки для бурения взрывных скважин, которые позволяют без вмешательства бурить полную структуру. В производственной среде группы из трех или более автономных бульдозеров теперь могут координировать удаление покрывающих пород.

Под землей, в шахтах начинают использовать дистанционные погрузочно-доставочные машины (LHD). Более крупные шахты перешли от пилотного развертывания к принятию LHD в качестве нового стандарта. Для одной горнодобывающей компании использование самосвалов с автономной системой транспортировки позволило повысить производительность на 20 процентов. Другой ранний последователь недавно решил расширить свой парк автономных транспортных средств, исходя из результатов их производительности.

Автоматизация поможет операторам работать более эффективно и сосредоточиться на развитии новых знаний.Например, вместо того, чтобы использовать оборудование все большего размера, операторы могут оптимизировать размер, чтобы уравновесить затраты на техническое обслуживание и стоимость перевозки на тонну.

Повышение производительности и общей эффективности оборудования (OEE)

Координация деятельности при подземной добыче полезных ископаемых всегда была сложной задачей, учитывая трудности с пониманием того, где находятся люди и активы и какого прогресса они достигли. Становится все более реалистичным объединение готовых технологий с собственными решениями для создания системы, которая улучшает прозрачность, безопасность, мониторинг производительности и общую эффективность оборудования.Развертывая подземные сети — например, с использованием беспроводной технологии Wi-Fi или 5G — руководители шахты могут общаться с рабочими группами в режиме реального времени. Это единственное нововведение может иметь далеко идущие последствия при условии, что оно будет реализовано в тандеме с двумя другими ключевыми двигателями трансформации, основанной на технологиях: адаптация систем управления и пересмотр культуры. (См. Врезку «Как цифровая связь может изменить способ работы шахты».)

2. Адаптировать системы управления

Компании должны взять на себя обязательство трансформировать свои системы управления, чтобы стимулировать инновации и принимать изменения и технологии.Например, горнодобывающей компании, которая использует расширенную аналитику для увеличения урожайности и производительности, также необходимо изменить способ совместной работы металлургов, операторов заводов и обслуживающего персонала, чтобы внедрить новые инструменты и идеи в свой ежедневный рабочий процесс. В противном случае фактическая работа завода не изменится, и чистая прибыль не будет достигнута.

Организация тоже иногда требует модификации. Традиционные операции по добыче полезных ископаемых, как правило, организуются отдельными командами, отвечающими за производство, техническое обслуживание, планирование и тому подобное.Этот подход не подходит для цифровой организации, так как он ведет к медленному и неэффективному принятию решений. Каждая команда видит только свою часть целого, и когда возникают проблемы (как всегда), она работает против коллективного мышления и действий. Что наиболее важно, команды, работающие изолированно, знают только то, что знают; они изолированы от данных, которые стимулируют инновации.

Освоение технологий означает, что люди, которые традиционно не нуждались в совместной работе, теперь сильно зависят друг от друга и должны быть организованы таким образом, чтобы это позволяло.Мы обнаружили, что наиболее эффективный способ воспользоваться преимуществами новых технологий — это реорганизовать рабочих в «отряды» (когда это уместно; безопасность всегда является первостепенной задачей), в которые входят люди с различными дополнительными навыками. Эта рабочая группа фокусируется на конкретном процессе или наборе активов — скажем, на операции по выщелачиванию — и имеет ряд навыков, которые позволяют им быстрее принимать более обоснованные решения и вносить значимые изменения.

Отряды

получают выгоду от включения или доступа к коучам, специалистам по обработке данных, программистам и всем, кто им нужен для достижения своих целей.Они работают лучше всего, когда они уполномочены принимать решения и развертывать ресурсы. Одна компания добилась значительных улучшений, позволив своим командам инвестировать до 100 000 долларов без дополнительных согласований.

3. Пересмотреть культуру и возможности

Трансформация с помощью технологий требует отказа от укоренившихся привычек и изменения мышления, поведения и способностей.

Внесение изменений в то, где принимаются решения и кто их принимает, требует программы управления изменениями.Эффективный план позволит сотрудникам понять, как усовершенствованная система сделает их жизнь лучше, безопаснее и продуктивнее. Это понимание необходимо укреплять с помощью формальных механизмов, а менеджеры должны моделировать новое поведение. (См. Врезку «Как одна компания изменила свою культуру и инфраструктуру».)

Конечно, использование технологий также означает обучение сотрудников и найм новых сотрудников с расширенным набором навыков для выполнения различных новых ролей. Специалисты по обработке данных необходимы для разработки сложных аналитических моделей для определения рычагов улучшения.Если горнодобывающая компания использует подход гибкой разработки, необходимы другие навыки и роли. Одна из таких ролей — это владелец продукта, у которого есть несколько обязанностей, в том числе выступление в роли голоса конечного пользователя, тестирование и проверка каждой итерации продукта. Другой — мастер схватки, который наблюдает за процессом проектирования, налаживая сотрудничество между ролями и функциями и устраняя препятствия (Иллюстрация 3).

Приложение 3

Мы стремимся предоставить людям с ограниченными возможностями равный доступ к нашему сайту.Если вам нужна информация об этом контенте, мы будем рады работать с вами. Напишите нам по адресу: [email protected]

Сегодня таких навыков мало, поэтому компаниям придется развивать свои собственные возможности. Они могут сделать это, например, создав академии продвинутой аналитики, чтобы приобрести навыки работы с данными, такие как программирование. Компании также могут использовать переводчиков, которые обладают навыками, необходимыми для интерпретации систем для других сотрудников рудника. Во многих случаях компании смогут использовать существующие таланты для выполнения роли переводчика, привлекая молодых цифровых аборигенов или других людей, увлеченных технологиями.Клиент из США, специализирующийся на цветных металлах, нашел штатного металлурга, который был увлечен технологиями и достаточно хорошо разбирался в важных технических аспектах моделей машинного обучения. Компания обучила ее на контроллер машинного обучения контроллеров. Ее хобби позволило ей разработать высококачественный пользовательский интерфейс для использования на перерабатывающем предприятии.

Производительность в мировом горнодобывающем секторе начинает улучшаться

Отделы кадров должны сыграть жизненно важную роль в изменении культуры горнодобывающей промышленности, позволяя этим новым классам профессионалов развиваться и реализовывать свой потенциал.Также важно сохранить этих сотрудников. Результаты компании улучшаются, когда возможности создаются не только на проектной основе, но и на долгосрочную перспективу.

Нет серебряной пули

Управленческие команды должны понимать, что технологическая трансформация — это путешествие, уникальное для каждой компании и моей, а не одноразовое приложение из вариантов использования. Нет серебряных пуль и единого списка технологий, которые должна внедрять каждая компания. Будут сотни, а в конечном итоге тысячи идей, улучшений и вариантов использования.Некоторые из них можно сделать прямо сейчас; другие будут развиваться по мере развития возможностей и технической архитектуры компании. Лидерам также следует ожидать, что одни инициативы сработают, а другие — нет. Им не следует терять веру; трансформация требует постоянных и решительных усилий.

Выбор компаний в путь будет зависеть от уровня зрелости их систем управления процессами и данных; некоторым компаниям потребуется улучшить и стабилизировать свои базовые системы. По мере развития трансформации компании будут учиться, и их возможности будут расти.Технологии тоже будут развиваться, и те, кто принимает управленческие и культурные изменения, имеющие ключевое значение для технологической трансформации, будут иметь набор навыков — и, что более важно, образ мышления и процессы — чтобы развиваться вместе с ними. Они будут продолжать совершенствоваться в повышении производительности и безопасности.

Зрелость конкретных технологий также является важным фактором. Руководителям необходимо будет определить, какие из них подходят для применения сегодня, а какие — в ближайшем или среднесрочном будущем. Ни один мой не захочет попасть в неожиданный проект НИОКР.

Мы рекомендуем компании начать с определения варианта использования, который обеспечит высокую окупаемость инвестиций. Сегодня наилучшие возможности, как правило, связаны с автоматизированным оборудованием, улучшением цепочки поставок от ямы до порта, оптимизированным планированием и контролем, оптимизацией урожайности и техническим обслуживанием, включая стратегии прогнозирования, цифровое планирование и исполнение с цифровой поддержкой (Иллюстрация 4). Конечно, первоначальные и последующие начинания должны быть частью более широкого плана и амбиций.

Преобразование с помощью технологий открывает совершенно новый горизонт возможностей.Он предоставляет компаниям новые рычаги, инструменты и возможности для повышения безопасности, производительности и способов работы. Вознаграждение будет весьма значительным для компаний, которые придерживаются его и подходят к нему с умом.

Приложение 4

Мы стремимся предоставить людям с ограниченными возможностями равный доступ к нашему сайту. Если вам нужна информация об этом контенте, мы будем рады работать с вами. Напишите нам по адресу: McKinsey_Website_Accessibility @ mckinsey.ком Будьте в курсе ваших любимых тем

Что такое интеллектуальный анализ данных? Определение и примеры

Интеллектуальный анализ данных — это не новое изобретение, появившееся в эпоху цифровых технологий. Эта концепция существует уже более века, но привлекла большее внимание общественности в 1930-х годах. Один из первых примеров интеллектуального анализа данных произошел в 1936 году, когда Алан Тьюринг представил идею универсальной машины, которая могла бы выполнять вычисления, аналогичные вычислениям на современных компьютерах.

С тех пор мы прошли долгий путь. В настоящее время предприятия используют интеллектуальный анализ данных и машинное обучение для улучшения всего, от процессов продаж до интерпретации финансовых показателей в инвестиционных целях. В результате специалисты по обработке данных стали жизненно важными для организаций по всему миру, поскольку компании стремятся достичь с помощью науки о данных более крупных целей, чем когда-либо прежде.

Интеллектуальный анализ данных — это процесс анализа огромных объемов данных для обнаружения бизнес-аналитики, которая помогает компаниям решать проблемы, снижать риски и использовать новые возможности. Эта отрасль науки о данных получила свое название от сходства между поиском ценной информации в большой базе данных и добычей руды в горах. Оба процесса требуют просеивания огромного количества материала, чтобы найти скрытую ценность.

Интеллектуальный анализ данных может дать ответ на бизнес-вопросы, решение которых вручную занимало слишком много времени. Используя ряд статистических методов для анализа данных различными способами, пользователи могут определять закономерности, тенденции и взаимосвязи, которые в противном случае они могли бы упустить.Они могут применять эти результаты, чтобы предсказать, что может произойти в будущем, и предпринять действия, чтобы повлиять на результаты бизнеса.

Интеллектуальный анализ данных используется во многих областях бизнеса и исследований, включая продажи и маркетинг, разработку продуктов, здравоохранение и образование. При правильном использовании интеллектуальный анализ данных может обеспечить серьезное преимущество перед конкурентами, позволяя больше узнать о клиентах, разрабатывать эффективные маркетинговые стратегии, увеличивать доходы и сокращать расходы.

Ключевые концепции интеллектуального анализа данных

Для достижения наилучших результатов интеллектуального анализа данных требуется набор инструментов и методов.Вот некоторые из наиболее часто используемых функций:

  • Очистка данных и подготовка — этап, на котором данные преобразуются в форму, подходящую для дальнейшего анализа и обработки, например для выявления и удаления ошибок и отсутствующих данных.

  • Искусственный интеллект (AI) — Эти системы выполняют аналитическую деятельность, связанную с человеческим интеллектом, такую ​​как планирование, обучение, рассуждение и решение проблем.

  • Изучение правил ассоциации — Эти инструменты, также известные как анализ рыночной корзины, ищут взаимосвязи между переменными в наборе данных, например определяют, какие продукты обычно покупаются вместе.

  • Кластеризация — процесс разделения набора данных на набор значимых подклассов, называемых кластерами, чтобы помочь пользователям понять естественную группировку или структуру данных.

  • Регрессия — метод, используемый для прогнозирования диапазона числовых значений, таких как продажи, температуры или цены акций, на основе определенного набора данных.

Преимущества интеллектуального анализа данных

Данные поступают в компании во множестве форматов с беспрецедентной скоростью и объемами. Быть бизнесом, управляемым данными, больше не вариант; Успех бизнеса зависит от того, насколько быстро вы сможете извлечь полезную информацию из больших данных и включить их в бизнес-решения и процессы, стимулируя более эффективные действия на своем предприятии. Однако с таким большим объемом данных это может показаться непреодолимой задачей.

Интеллектуальный анализ данных позволяет предприятиям оптимизировать будущее, понимая прошлое и настоящее и делая точные прогнозы о том, что может произойти дальше.

Например, интеллектуальный анализ данных может сказать вам, какие потенциальные клиенты могут стать прибыльными клиентами на основе прошлых профилей клиентов, а какие с наибольшей вероятностью ответят на конкретное предложение. Обладая этими знаниями, вы можете повысить рентабельность инвестиций (ROI), сделав свое предложение только тем потенциальным клиентам, которые могут отреагировать и стать ценными клиентами.

Вы можете использовать интеллектуальный анализ данных для решения практически любой бизнес-задачи, связанной с данными, в том числе:

  • Увеличение доходов.
  • Понимание сегментов и предпочтений клиентов.
  • Привлечение новых клиентов.
  • Улучшение перекрестных продаж и дополнительных продаж.
  • Сохранение клиентов и повышение лояльности.
  • Повышение рентабельности инвестиций в маркетинговые кампании.
  • Обнаружение мошенничества.
  • Выявление кредитных рисков.
  • Контроль эксплуатационных характеристик.

Благодаря применению методов интеллектуального анализа данных решения могут быть основаны на реальной бизнес-аналитике, а не на инстинктах или интуитивных реакциях, и обеспечивать стабильные результаты, позволяющие предприятиям опережать конкурентов.

По мере того, как технологии крупномасштабной обработки данных, такие как машинное обучение и искусственный интеллект, становятся более доступными, компании теперь могут копаться в терабайтах данных за минуты или часы, а не дни или недели, помогая им быстрее внедрять инновации и расти.

Смотрите сейчас Основы машинного обучения .
Смотри

Как работает интеллектуальный анализ данных

Типичный проект интеллектуального анализа данных начинается с постановки правильного бизнес-вопроса, сбора правильных данных для ответа на него и подготовки данных для анализа.Успех на более поздних этапах зависит от того, что происходит на более ранних этапах. Низкое качество данных приведет к плохим результатам, поэтому разработчики данных должны обеспечивать качество данных, которые они используют в качестве входных данных для анализа.

Специалисты по интеллектуальному анализу данных обычно достигают своевременных и надежных результатов, следуя структурированному, повторяемому процессу, который включает следующие шесть шагов:

  1. Понимание бизнеса — Развитие полного понимания параметров проекта, включая текущую бизнес-ситуацию, основную бизнес-цель проекта и критерии успеха.
  2. Понимание данных — Определение данных, которые потребуются для решения проблемы, и их сбор из всех доступных источников.
  3. Подготовка данных — Подготовка данных в соответствующем формате для ответа на бизнес-вопрос, устранение любых проблем с качеством данных, таких как отсутствие или дублирование данных.
  4. Моделирование — Использование алгоритмов для определения закономерностей в данных.
  5. Оценка — Определение того, насколько хорошо результаты, полученные с помощью данной модели, помогут достичь бизнес-цели.Часто существует итеративный этап поиска лучшего алгоритма для достижения наилучшего результата.
  6. Развертывание — Предоставление результатов проекта лицам, принимающим решения.

На протяжении всего этого процесса тесное сотрудничество между экспертами в предметной области и разработчиками данных важно для понимания важности результатов интеллектуального анализа данных для исследуемого бизнес-вопроса.

Сценарии и примеры использования интеллектуального анализа данных

Организации в разных отраслях достигают трансформирующих результатов с помощью интеллектуального анализа данных:

  • Groupon согласовывает маркетинговую деятельность — Одна из ключевых задач Groupon — обработка огромного объема данных, которые она использует для предоставления услуг покупок.Ежедневно компания обрабатывает более терабайта необработанных данных в режиме реального времени и сохраняет эту информацию в различных системах баз данных. Интеллектуальный анализ данных позволяет Groupon более точно согласовывать маркетинговую деятельность с предпочтениями клиентов, анализируя 1 терабайт данных о клиентах в режиме реального времени и помогая компании выявлять тенденции по мере их появления.
  • Air France KLM учитывает предпочтения клиентов в поездках — Авиакомпания использует методы интеллектуального анализа данных для создания 360-градусного представления о клиенте путем интеграции данных поиска поездок, бронирований и полетных операций с Интернетом, социальными сетями, колл-центром и взаимодействие в зале ожидания аэропорта.Они используют это глубокое понимание клиентов для создания индивидуальных впечатлений от путешествий.
  • Domino’s помогает клиентам создать идеальную пиццу — Крупнейшая пиццерия в мире собирает 85 000 структурированных и неструктурированных источников данных, включая точки продаж и 26 центров цепочки поставок, а также по всем своим каналам, включая текстовые сообщения, социальные сети. media и Amazon Echo. Такой уровень понимания повысил эффективность бизнеса, обеспечивая при этом индивидуальный покупательский опыт в разных точках соприкосновения.

https://player.vimeo.com/video/238075190

Это всего лишь несколько примеров того, как возможности интеллектуального анализа данных могут помочь организациям, работающим с данными, повысить эффективность, оптимизировать операции, сократить расходы и повысить прибыльность.

Будущее интеллектуального анализа данных

У интеллектуального анализа данных и науки о данных светлое будущее, поскольку объем данных будет только увеличиваться. К 2020 году наша накопленная цифровая вселенная данных вырастет с 4,4 зеттабайт до 44 зеттабайт.Мы также будем создавать 1,7 мегабайта новой информации каждую секунду для каждого человека на планете.

Точно так же, как методы добычи полезных ископаемых развивались и совершенствовались благодаря усовершенствованию технологий, также появились технологии для извлечения ценной информации из данных. Когда-то только такие организации, как НАСА, могли использовать свои суперкомпьютеры для анализа данных — стоимость хранения и обработки данных была слишком высока. Теперь компании делают всевозможные интересные вещи с помощью машинного обучения, искусственного интеллекта и глубокого обучения с помощью облачных озер данных.

Например, Интернет вещей и носимые технологии превратили людей и устройства в машины для генерации данных, которые могут дать неограниченное представление о людях и организациях — если компании могут достаточно быстро собирать, хранить и анализировать данные.

Загрузите Отчет О’Рейли: рынок Интернета вещей прямо сейчас.
Прочитай сейчас

К 2020 году в Интернете вещей (IoT) будет около 20 миллиардов подключенных устройств.Данные, полученные в результате этой деятельности, будут доступны в облаке, что создаст острую потребность в гибких, масштабируемых аналитических инструментах, которые могут обрабатывать большие объемы информации из разрозненных наборов данных.

Облачные аналитические решения делают более практичным и экономичным для организаций доступ к массивным данным и вычислительным ресурсам. Облачные вычисления помогают компаниям быстро собирать данные из систем продаж, маркетинга, Интернета, производства и инвентаризации, а также из других источников; скомпилировать и подготовить; проанализировать это; и действовать в соответствии с ней, чтобы улучшить результаты.

Инструменты интеллектуального анализа данных с открытым исходным кодом также предоставляют пользователям новый уровень мощности и гибкости, удовлетворяя аналитические потребности, которых не могут предложить многие традиционные решения, и предлагая обширные сообщества аналитиков и разработчиков, где пользователи могут совместно работать над проектами и совместно работать над ними. Кроме того, передовые технологии, такие как машинное обучение и искусственный интеллект, теперь доступны практически любой организации, располагающей нужными людьми, данными и инструментами.

Программное обеспечение и инструменты для интеллектуального анализа данных

Нет сомнений в том, что интеллектуальный анализ данных может трансформировать предприятия; однако внедрение решения, отвечающего потребностям всех заинтересованных сторон, часто может затруднить выбор платформы.Широкий спектр возможностей, доступных аналитикам, включая языки с открытым исходным кодом, такие как R и Python, и знакомые инструменты, такие как Excel, в сочетании с разнообразием и сложностью инструментов и алгоритмов могут еще больше усложнить процесс.

Компании, которые извлекают наибольшую выгоду из интеллектуального анализа данных, обычно выбирают платформу, которая:

  • Включает передовой опыт для своей отрасли или типа проекта. У медицинских организаций, например, другие потребности, чем у компаний, занимающихся электронной коммерцией.
  • Управляет всем жизненным циклом интеллектуального анализа данных, от исследования данных до производства.
  • Соответствует корпоративным приложениям, включая системы бизнес-аналитики, CRM, ERP, финансовое и другое корпоративное программное обеспечение, с которым оно должно взаимодействовать для максимальной окупаемости инвестиций.
  • Интегрируется с ведущими языками с открытым исходным кодом, предоставляя разработчикам и специалистам по обработке данных гибкость и инструменты совместной работы для создания инновационных приложений.
  • Отвечает требованиям ИТ-специалистов, специалистов по обработке данных и аналитиков, а также удовлетворяет потребности бизнес-пользователей в отчетности и визуализации <

Платформа больших данных Talend предоставляет полный набор возможностей управления данными и интеграции данных, чтобы помочь командам интеллектуального анализа данных быстрее реагировать на потребности своего бизнеса.

Основанное на открытой масштабируемой архитектуре и с инструментами для реляционных баз данных, плоских файлов, облачных приложений и платформ, это решение дополняет вашу платформу интеллектуального анализа данных, заставляя работать больше данных за меньшее время, что приводит к более быстрому анализу и повышению конкурентоспособности преимущество.

Начало работы с интеллектуальным анализом данных

Поскольку организации продолжают быть заваленными огромными объемами внутренних и внешних данных, им требуется способность преобразовать это сырье в полезные идеи со скоростью, необходимой их бизнесу.

Компании во всех отраслях полагаются на Talend, чтобы ускорить получение аналитических данных на основе интеллектуального анализа данных. Наша современная платформа интеграции данных позволяет пользователям работать умнее и быстрее в разных командах, позволяя им разрабатывать и развертывать задачи сквозной интеграции данных в десять раз быстрее, чем ручное программирование, при 1/5 стоимости других решений.

Узнайте, как начать работу с инструментами Talend для больших данных.

Что такое Process Mining и почему компании должны это делать

Уже давно существует несколько фундаментальных проблем, связанных с управлением бизнес-процессами, по крайней мере, с тех пор, как мы вдвоем были вовлечены в эту область (около сорока лет, лучше или хуже). На наш взгляд, две из наиболее неприятных проблем, по крайней мере частично, являются причиной того, что управление процессами и их улучшение являются для многих компаний в настоящее время второстепенным вопросом.Но относительно новая и инновационная технология, технология Process Mining, способна решить обе проблемы и оживить управление процессами на фирмах, где она не использовалась в течение многих лет.

Одна проблема связана с созданием процессов «текущего состояния» — описанием того, как бизнес-процесс выполняется сегодня. При реинжиниринге бизнес-процессов организации в первую очередь заинтересованы в улучшенном процессе «как есть», поэтому часто они мало заинтересованы в изучении «как есть» или в том, как этот процесс выполняется в настоящее время.Но понимание текущего процесса имеет решающее значение для понимания того, стоит ли инвестировать в улучшения, где существуют проблемы с производительностью, и насколько вариативны процессы в организации. В результате некоторые компании, как правило, либо вообще пропускают текущий анализ процесса, применяют к нему ярлыки, либо платят консультантам большие деньги за анализ процесса «как есть».

Компании, применяющие подход постепенного улучшения, с другой стороны, склонны тратить слишком много времени на анализ «как есть».Кроме того, их текущий анализ процесса часто основан на интервью и заметках, которые руководители иногда считают чрезмерно субъективными и относятся к ним с оправданным скептицизмом.

Другой общей проблемой управления процессами является отсутствие связи между бизнес-процессами и корпоративными информационными системами организации. Некоторые корпоративные системы (например, SAP) ориентированы на процессы в том смысле, что они поддерживают такие процессы, как от заказа до оплаты или от закупки до оплаты, но редко бывает простой способ понять, как этот процесс выполняется, из информационная система.Некоторые различные технологии (например, Visio от Microsoft или Aris от Software AG) поддерживают аспекты проектирования процессов. Но если вам нужна информация о том, как ваш процесс выполняется изо дня в день, это обычно требует сложного набора ручных шагов для сбора и синтеза данных. И многие подходы к совершенствованию процессов — например, Lean и Six Sigma, не делают упор на информационных технологиях как на средствах поддержки процессов или управления процессами.

Войти в технологический процесс

Process Mining может решить обе эти проблемы.В течение многих лет интеллектуальный анализ процессов был академической темой, которой горячо занимались такие исследователи, как Виль ван дер Альст, голландский ученый-компьютерщик. Но этот подход не имел практического значения до 2011 года, когда была основана мюнхенская компания Celonis. Ван дер Альст — главный научный консультант Celonis, компания разработала четыре основные версии своего программного обеспечения. У него прочные связи с SAP, которая является торговым посредником Celonis. Он собирает данные из систем этого поставщика, а также из других систем, таких как Oracle, Salesforce и ServiceNow, а также из систем любого другого типа через API.

Внезапно процесс майнинга привлекает все большее внимание. Например, в 2018 году Gartner опубликовала рыночное руководство по интеллектуальному анализу процессов, которое включало несколько распространенных вариантов использования интеллектуального анализа процессов и анализ сообщества поставщиков. Gartner определила более десятка поставщиков процессного майнинга, большинство из которых находится в Европе. Компания Celonis была признана лидером рынка. Fluxicon (расположенный в Нидерландах) считался самым популярным автономным инструментом, ориентированным на анализ, а программное обеспечение QPR Software, базирующееся в Финляндии, — одним из старейших и наиболее всеобъемлющих наборов инструментов в этой области.Тот факт, что все эти фирмы находятся в Европе, говорит о том, что процессный майнинг продвинулся там несколько дальше, хотя мы говорили с несколькими американскими компаниями, которые также используют его.

Программное обеспечение для интеллектуального анализа процессов может помочь организациям легко собирать информацию из корпоративных транзакционных систем и предоставляет подробную — управляемую данными — информацию о том, как выполняются ключевые процессы. Журналы событий создаются по мере выполнения работы: заказ получен, товар доставлен, произведена оплата.Журналы позволяют увидеть, как на самом деле происходит компьютерная работа, в том числе кто ее выполнил, сколько времени это занимает и как отличается от среднего. Аналитика процессов создает ключевые показатели эффективности процесса, что позволяет компании сосредоточиться на приоритетных шагах для улучшения. Алгоритмы искусственного интеллекта могут обнаруживать основные причины отклонений — например, они могут указывать на то, что каждый раз, когда новому клиенту требуется проверка кредитоспособности, процесс значительно замедляется.

Выбор того, где применять технологический анализ, очень важен.Организации получат максимальную отдачу от его применения к процессам, которые были оцифрованы (то есть поддерживаются ИТ-системой) и где все еще существует некоторая неструктурированная работа (например, обзоры и утверждения), которые выполняются вне ИТ-системы. Специалисты по совершенствованию процессов ценят, что для улучшения сложных межфункциональных бизнес-процессов используются гораздо больше, чем просто данные. Как отметил Яакко Риихинен, старший вице-президент по продуктам и технологиям QPR Software, «интеллектуальный анализ процессов как метод зависит от данных о случаях и событиях в журналах, и он может выполнять только то, что разрешено этими данными.”

Тем не менее, эти возможности, как вы можете себе представить, являются кошмаром для любого, чья работа заключается в надзоре, улучшении или устранении неполадок в операционных бизнес-процессах. Разработка текущих состояний процессов происходит автоматически и не требует больших затрат труда. Даже если вас не интересует управление процессами в целом или даже состояние общего процесса, в котором вы работаете, вы можете узнать, что происходит в вашем маленьком кусочке, и исправить любые проблемы. Если ваша компания использует корпоративные системы для поддержки ключевых бизнес-процессов — а в наши дни это почти каждая крупная компания — вам следует изучить процесс интеллектуального анализа данных.

Технологическая добыча в Chemours

Chemours Company — глобальная химическая компания, созданная в 2015 году, когда DuPont выделила свой сегмент Performance Chemicals, который включает в себя титановые технологии, фторопродукты и химические растворы. Chemours в настоящее время является независимой компанией с оборотом 6 миллиардов долларов, в которой работает 7000 сотрудников, 26 производственных предприятий и около 4000 клиентов в более чем 130 странах.

Chemours унаследовал от DuPont свои бизнес-процессы, устаревшую систему ERP и пристальное внимание к управлению процессами и их улучшениям.Усилия по корпоративной трансформации, направленные на оптимизацию работы Chemours и повышение гибкости, стимулировали интерес к добыче процессов, компания приобрела программное обеспечение Celonis, и первым сквозным процессом, нацеленным на добычу процессов, был процесс от заказа до оплаты (O2C). Директор по информационным технологиям (CIO) Дин Мейер отстаивал общую трансформацию, а главный финансовый директор (CFO) Марк Ньюман выступал в качестве исполнительного спонсора инициативы O2C. Сунг Ли, директор по трансформации бизнес-процессов, курирует проект Process Mining.Ли подчеркнул, что «руководители Chemours всегда поддерживали нас с самого начала. Это необходимо для успеха ».

До проекта разработки процессов никто не мог четко сформулировать, как весь процесс O2C выполнялся в Chemours, поскольку люди обычно видят только свою часть процесса. Четыре месяца ушло на разработку процесса, чтобы выяснить, как на самом деле работает процесс (а не только то, что указано в документации ERP). Это сделало весь процесс видимым и выявило некоторые вопиющие проблемы.Одной из таких проблем была кредитная задержка, так как процесс майнинга выявил, что стратегическим клиентам иногда без надобности помещали кредитную задержку, чтобы можно было выполнять ручные операции в процессе O2C.

В то время как ощутимые выгоды от применения процесса майнинга к O2C в Chemours все еще находятся в стадии разработки, было выявлено довольно много проблем, и в настоящее время в стадии реализации находится более 40 проектов по решению ключевых проблем в O2C в Chemours и реализации преимуществ в виде упрощения процессов, коммуницирования и автоматизации.По словам Сун Ли, интеллектуальный анализ процессов также способствовал повышению ясности ролей и большему межфункциональному сотрудничеству; Команды смогли впервые увидеть комплексное представление о сквозном процессе, включая отклонения от нормы по бизнесу и линейке продуктов. Chemours намерен развернуть процесс майнинга в 2019 году для процесса источника оплаты (S2P). Кроме того, он уже провел испытание концепции роботизированной автоматизации процессов (RPA), понимая потенциальную синергию при объединении этих двух инструментов.Цель состоит в том, чтобы позволить персоналу уделять больше времени работе с клиентами и более глубокому анализу эффективности бизнеса.

Process Mining в ABB

ABB — технологическая компания, работающая в более чем 100 странах. Он предлагает продукты и услуги в области электрификации, автоматизации, роботизации и цифровизации. ABB имеет долгую историю совершенствования качества и процессов. В 1980-х годах компания ABB придерживалась принципа тотального управления качеством (TQM). В 1990-х годах компания АББ приняла метод усовершенствования процессов Раммлера-Браха, а за последние два десятилетия она применила подходы «бережливое производство» и «шесть сигм».Его культура ориентирована на клиента. Из-за размеров ABB постоянно ведется поиск новых инструментов и подходов, а также проявляется большой интерес к внутреннему сравнительному анализу во всех своих глобальных операциях.

Отдел качества и эксплуатации ABB отвечает за развертывание технологии Process Mining в ABB и выбрал Celonis в качестве предпочтительного поставщика. Небольшая группа координирует усилия по анализу процессов в головном офисе, и до 80% работы по анализу процессов выполняется персоналом отдела качества и эксплуатации на уровне бизнес-подразделения в рамках программы непрерывного совершенствования ABB.Интеллектуальный анализ процессов использовался в ABB для анализа операционных процессов, связанных с SAP, таких как заказ на получение наличных, покупка для оплаты и жалоба на разрешение. Одним из основных преимуществ интеллектуального анализа процессов является повышенная прозрачность рабочего процесса, что сокращает время для непрерывных усилий по улучшению с использованием метода бережливого производства и шести сигм. Интеллектуальный анализ процессов также способствует сокращению числа операций, не связанных с добавлением ценности, и устранению необходимости вручную составлять отчеты.

По словам Хеймена Янсена, руководителя отдела качества и аналитики производственных процессов в ABB, в процессах может быть много различий, поскольку это большая цепочка создания стоимости, а прозрачность, обеспечиваемая интеллектуальным анализом процессов, позволяет ABB проводить более эффективный сравнительный анализ различных бизнес-подразделений ABB. .Янсен отметил: «Всегда есть какое-то подразделение, которое делает это лучше, а другие могут чему-то научиться».

Дэниел Хельмиг, руководитель группы по качеству и операциям в ABB, поделился, что многие менеджеры считали, что такие процессы, как утверждение «закупки для оплаты», должны быть простыми. Но, работая в более чем 100 странах и используя различные системы ERP, он и другие были несколько удивлены количеством отклонений и исключений, обнаруженных в процессе разработки процессов. В будущем ABB может расширить возможности технологии Process Mining, поскольку она интегрирована с другими инструментами, такими как роботизированная автоматизация процессов (RPA) и искусственный интеллект (AI).

Процессный майнинг может быть не для всех. Крупные организации со сложной структурой, приверженные качеству и большой интерес к внутреннему бенчмаркингу, могут извлечь максимальную пользу из создаваемой прозрачности. И если организация не ориентирована на управление процессами, она, вероятно, не преуспеет с интеллектуальным анализом процессов.

Технологические процессы и другие технологии

Process Mining эффективно использовался для анализа текущего состояния производительности бизнес-процессов, выявления областей улучшения и оценки результатов улучшений процессов.Это делает его эффективным партнером для таких инструментов, как автоматизация роботизированных процессов (RPA), поскольку он может сначала определить лучшие места для внедрения «ботов», а затем предоставить средства для расчета положительного воздействия внедрения RPA.

Process Mining дает наглядное представление о производительности процесса на основе данных. Это привлечет интерес руководителей высшего звена, которые смогут легко увидеть, в чем заключаются проблемы и возможности. Это укрепит приверженность организации к принятию решений на основе данных.Некоторые поставщики уже определили ключевые этапы использования процесса интеллектуального анализа данных для более успешного внедрения RPA. Мы ожидаем, что в будущем появятся многие решения, которые будут включать в себя сочетание интеллектуального анализа процессов, RPA и машинного обучения.

Что такое интеллектуальный анализ данных? Определение интеллектуального анализа данных, интеллектуальный анализ данных Значение

Digital Fingerprinting

Определение: Технология Digital Fingerprinting позволяет владельцу контента осуществлять контроль над своим защищенным авторским правом контентом, эффективно идентифицируя, отслеживая, отслеживая и монетизируя его по каналам распространения (Интернет, радиовещание, радио, потоковая передача и т. Д.) и т.п.) путем преобразования их контента в компактный цифровой актив или оттиск с помощью известного алгоритма отпечатков пальцев. В алгоритме снятия отпечатков большой элемент данных (аудио, видео или любые файлы) сопоставляется с гораздо более короткой битовой строкой, то есть отпечатком файла, который однозначно идентифицирует исходные данные для всех практических целей. Цифровые отпечатки пальцев имеют характеристики содержания и достаточно подробностей, чтобы идентифицировать вариант содержания при сравнении. Описание: Алгоритм снятия отпечатков пальцев основан на различных свойствах контента (фрагменты кадра, изменение движения и музыки, кадры камеры, уровень яркости, движения объектов), которые используются для создания ссылки на цифровой ресурс вместе с метаданными контента и сохранения их в базе данных. репозиторий.Система достаточно умна, чтобы идентифицировать всякий раз, когда сравнивается какая-либо часть аудио / видео контента, поступающего из любых источников распространения, даже в случаях модификации контента (сжатие, изменение соотношения сторон, повторная выборка, изменение цвета, размеров, формата, битрейта, выравнивания ) или ухудшение качества контента (искажение из-за преобразования, потеря качества, размытие, обрезка, добавление фонового шума и т. д.) Рабочий процесс цифрового снятия отпечатков пальцев: этот процесс включает в себя регистрацию владельцев контента своего контента для снятия отпечатков пальцев и создание эталонного цифрового представления контента, которое используется для будущих сравнений.Следующие шаги: i) Извлечение уникальных характеристик — отпечаток цифрового контента и передача прав, реестра вместе с метаданными файла. ii) Идентификация контента — путем сравнения с отпечатками пальцев в базе данных для проверки на нарушение. iii) Результат — на основе сравнения предпринять соответствующие действия в соответствии с согласованными бизнес-правилами (блокировать, удалять, авторизовать). Распространенные алгоритмы снятия отпечатков пальцев: 1) Алгоритм снятия отпечатков пальцев Рабина. 2) Криптографические хеш-функции.Пример: Audible Magic, одна из крупнейших компаний по снятию отпечатков пальцев, работает с такими крупными поставщиками контента, как NBC Universal, Sony Music и 20th Century Fox. Эта компания утверждает, что ее технология CopySense может идентифицировать источник видеоклипа в течение пяти секунд воспроизведения и может идентифицировать аудиофайл в течение 10 секунд. Компания также утверждает, что ее программное обеспечение может распознавать фрагмент носителя, который содержит запись с экрана кинотеатра с помощью портативной камеры. Идентификация основана на характеристиках восприятия аудио и видео, описанных в компании.Система может видеть прошлые трансформирующие изменения в аудио- и видеофайлах, такие как перекодирование между форматами файлов, выравнивание звука, обрезка изображения или даже размытие изображения для его анализа.

Подробнее

Что такое Process Mining? | ИТ-операции

Process Mining: основы

Почему важен процесс интеллектуального анализа данных?

Process Mining использует передовые алгоритмы для обеспечения прозрачности текущих бизнес-процессов, помогая организациям их оптимизировать и улучшать.Он быстро раскрывает ценную информацию, которая может повысить производительность, и, в конечном итоге, освещает возможности в ваших основных бизнес-процессах, которые окажут наибольшее влияние на ваших клиентов и вашу прибыль.

Для выявления возможностей, влияющих на ваш бизнес, анализ процессов можно использовать для изучения трех основных типов ключевых показателей эффективности (KPI):

  • Время KPI: сколько времени требуется для завершения определенного процесса?
  • Ключевые показатели эффективности затрат: сколько стоит завершить конкретный процесс?
  • KPI качества: Соответствует ли результат этого процесса установленным критериям?

Процессный анализ имеет значительное преимущество перед более традиционным анализом «как есть» — и это его способность получать доступ к данным о событиях в реальном времени.Более того, интеллектуальный анализ процессов также рассматривает исторические данные с возможностью внимательно изучить серию журналов событий, чтобы достичь глубокого понимания того, что происходит — разительный контраст с медленной и ручной тяжелой инфраструктурой данных, ранее использовавшейся для проведения те же расчеты. Вместо того, чтобы полагаться на традиционную инфраструктуру данных для анализа транзакций, интеллектуальный анализ процессов может выявить то, что происходит в настоящее время, используя огромные объемы данных о событиях из всех ваших систем для:

  • Узнайте реальное поведение людей, организаций и машин и сравните его с существующими моделями.
  • Сопоставьте миллионы событий, чтобы показать, чем реальность отличается от восприятий, мнений и убеждений.
  • Обеспечивает основу для постоянного улучшения и построения лучших процессов.

Прежде всего, интеллектуальный анализ процессов позволяет вам понять текущее состояние ваших систем и процессов, предлагая более быстрый и детализированный способ выявления любых отклонений и аберраций, а затем правильного курса.

.

You May Also Like

Лечение аллергии у детей: эффективные методы и симптомы

Как правильно готовить детскую молочную смесь: полезные советы для родителей

Физическое развитие ребенка в первый год жизни: нормы и особенности по месяцам

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *