5 проблем на пути построения прогнозной аналитики: как их решить

Как использовать данные

Имея данные о прошлом и будущем наших процессов, мы можем гибко ими управлять. Это позволит получить реальный экономический эффект, который легко покроет затраты на внедрение предиктивных систем.

Можно оптимизировать затраты на персонал: исключить ситуации, когда операторы контакт-центра или сотрудники точки продаж сидят без дела, и ситуации, когда их не хватает и снижается качество обслуживания.

Можно оптимизировать технологические активы: избыточные резервы продукции или оборудования, простои мощностей, логистику.

Можно улучшить продукты, предсказывая профиль их потребления (сезонность, влияние внешних факторов и связанных продуктов), изменения рынка, цепочек поставок и продаж.

Чтобы все это работало, важно каждое звено пирамиды: возможности цифровой интеллектуальной платформы, инфраструктура, методология управления данными, методология анализа данных, а также готовность CEO и всех сотрудников компании к трансформационным процессам

Фото: BIGANDT.COM/Shutterstock

Выбор опорного периода

Опорный период — это тот период, за который была собрана фактическая статистика по некоторой метрике и который используется для построения прогноза по этой метрики на период прогноза

Обратите внимание, что вы можете выбрать только дату начала опорного периода. Его окончание — это всегда день, предшествующий текущей дате

Выбрать опорный период вы можете, нажав на дата-пикер :

При клике на этот дата-пикер у вас появится календарь:

  

Обратите внимание, что по данному календарю у вас нет возможности пойти «вперед», если выбранный в дата-пикере диапазон дат составляет 90 дней — это минимальная длина опорного периода. Это означает, что, если сегодня 31 июля, то минимальный диапазон дат для опорного периода — со 2 мая по 30 июля (90 дней)

При этом нет возможности сократить этот опорный период, сделав его, допустим с 5 мая по 30 июля. В данном случае опорный период можно только расширить, выбрав в качестве начальной даты любой день, предшествующий 2 мая. 

 

Как появилась предиктивная аналитика?

Самые первые попытки использования предиктивной аналитики осуществлялись еще задолго до появления IoT.

Раньше финансовые организации самостоятельно собирали информацию о клиенте, оценивая все риски и покупки банковских продуктов. Сейчас банки занимаются скорингом, то есть покупают и обрабатывают информацию о человеке, которую он предоставил сам о себе в сети Интернет.

Развитие IoT, искусственного интеллекта, облачных технологий и вычислительных мощностей стали почвой для стремительной эволюции предиктивной аналитики. Теперь, после предварительного обучения на базе исторических и актуальных данных, система может сделать выводы и принять решения практически исключая человеческий фактор.

Инструменты

Есть много инструментов прогнозного анализа. В дополнение к тому факту, что они позволяют запрашивать данные и манипулировать ими, каждая из них предлагает более или менее обширный выбор прогнозных моделей, которые при необходимости можно развернуть для индустриализации. Коммерческое программное обеспечение SAS , SPSS (IBM), Neural Designer (Intelnics), STATISTICA (StatSoft), CORICO (Coryent), HyperCube или Sidetrade больше предназначено для компаний или организаций с большими объемами данных для изучения. Бесплатное программное обеспечение OpenNN , R и Weka — хорошая альтернатива для начинающих .

Определение

Прогнозная аналитика — это область статистики, которая занимается извлечение информации из данных и используя их для прогнозирования тенденции и модели поведения. Улучшение прогнозной веб-аналитики позволяет вычислять статистические вероятности будущих событий в сети. Статистические методы прогнозной аналитики включают: моделирование данных, машинное обучение, AI, глубокое обучение алгоритмы и сбор данных. Часто интересующее неизвестное событие происходит в будущем, но прогнозная аналитика может применяться к любому типу неизвестного, будь то прошлое, настоящее или будущее. Например, выявление подозреваемых после совершения преступления или мошенничество с кредитными картами по мере его совершения. Ядро прогнозной аналитики основано на выявлении взаимосвязей между объясняющие переменные и прогнозируемые переменные из прошлых событий, и их использование для прогнозирования неизвестного результата

Однако важно отметить, что точность и удобство использования результатов будут во многом зависеть от уровня анализа данных и качества предположений

Прогнозная аналитика часто определяется как прогнозирование на более детальном уровне детализации, то есть создание прогнозных оценок (вероятностей) для каждого отдельного элемента организации. Это отличает его от прогнозирование. Например, «Прогнозирующая аналитика — технология, которая учится на опыте (данных), чтобы предсказывать будущее поведение людей с целью принятия более эффективных решений». В будущих промышленных системах ценность прогнозной аналитики будет заключаться в прогнозировании и предотвращении потенциальных проблем для достижения почти нулевого выхода из строя и дальнейшей интеграции в предписывающая аналитика для оптимизации решений.[нужна цитата]

Аналитик Big Data

Big Data (Большие данные) — это термин, обозначающий огромные объемы структурированных и неструктурированных данных, которые можно обработать с помощью особых аналитических инструментов.

В качестве примера Big Data можно привести статистику всего поведения всех пользователей крупной социальной сети вроде Facebook за определенный период или данные обо всех торгах на Нью-Йоркской бирже.

Ручная обработка такого массива данных была бы невероятно затяжной и трудоёмкой. Но современные инструменты позволяют эффективно их анализировать, формулировать выводы и рекомендации и даже подстраивать под них поведение систем.

Аналитики BigData занимаются построением рекомендательных и предсказательных моделей, в том числе и для искусственного интеллекта — например, учат его распознавать пол человека по фотографии. Или могут спрогнозировать вероятность покупки платной версии мобильного приложения, исходя из поведения пользователя и данных о том, как вели себя люди, купившие приложение.

Профессия аналитика больших данных скорее ближе к деятельности разработчика, чем к труду других аналитиков, хотя непосредственно написанием кода они практически не занимаются. При этом в работе таким специалистам помогают инструменты программирования (Python, Scala, Bash) и системы для работы с данными (Spark, Hadoop). Но основную базу знаний Big Data аналитика составляют продвинутые знания в математической статистике, теории вероятностей, построении математических моделей, линейной алгебре и сложных методах вычислений.

Кому подойдет это направление аналитики?

Тем, кто всегда был на короткой ноге с математикой, и хотел бы применить свои знания в современной развивающейся области. Узнать больше о профессии аналитика больших данных можно на странице нашего факультета по Big Data Analytics.

Таковы наиболее популярные и востребованные аналитические специальности — хотя на самом деле их, безусловно, больше. Также существуют профессии CRM-аналитиков, категорийных аналитиков, аналитиков продуктовых категорий, аналитиков клиентского сервиса, SMM-аналитиков и многие другие.

Надеемся, что эта статья помогла вам лучше разобраться в многообразии аналитических профессий — и, возможно, «присмотреть» свою будущую стезю!  

Таблетка от выгорания

Зарплата, премии и бонусы не способны предупредить риски, связанные с так называемым профессиональным выгоранием. Аналитические инструменты работают таким образом, что помогают понять, когда специалиста необходимо отправить в отпуск, предложить ему альтернативный проект или обучение. 

Самым простым примером может служить модель «выгорания» сотрудника, которая на основании данных о количестве дней отпуска, истории отпусков, накопленных овертаймов, скорости роста сотрудника, количестве коммуникаций и так далее даст подсказку менеджеру и самому человеку, что пора в отпуск. 

При этом до недавнего времени подобная аналитика была недоступна, а часть данных оставалась «за кадром». Речь идет об анализе деятельности сотрудника, связанной с участием во внутренних и внешних мероприятиях, менторстве или оценке новых специалистов в компании. Эти данные помогают оценить параметр «выгорания».

Проблема 5: Понять, что аналитика — это игра вдолгую

И это самая глобальная проблема. Внедрение аналитики в компанию требует не только много сил и времени, но и влечёт за собой изменение всех процессов. Поэтому прежде чем вы начнёте, cтоит убедиться, что вы всё делаете правильно. Вот из каких пунктов это может состоять.

1. Задавайте правильные вопросы

Если вы хотите получать полезные ответы — научитесь задавать правильные вопросы. Формулируйте чёткие гипотезы и проверяйте их, экспериментируйте, проводите А/В-тесты и для каждой гипотезы и эксперимента. Выделяйте KPI, по которым будете их оценивать. Держите в голове главную задачу, которую хотите решить, но идите к решению маленькими шажками.

2. Используйте правильные данные

Прежде чем делать выводы, убедитесь, что данные, на которых они основаны, полные — без семплирования или фильтров. Поэтому, определившись с вопросами, ответы на которые хотите получить, выясните, какие данные вам доступны и будет ли их достаточно, чтобы точно ответить на ваши вопросы.

3. Используйте правильные технологии

Отрасль работы с данными развивается стремительно, как и технологии, которые помогают собирать, хранить и обрабатывать данные. Многие аналитические сервисы уже начинают предлагать свои решения для построения прогнозной аналитики. Они отличаются методологией работы. Перед вами стоит непростая задача — выбрать то решение, которое вы сможете эффективно использовать продолжительное время. Потому что переход из одного сервиса в другой — сложный и дорогостоящий процесс.

4. Нанимайте правильных людей

Как бы ни хотелось автоматизировать все процессы и отдать их на откуп алгоритмам искусственного интеллекта, вам по прежнему будут нужны высококвалифицированные специалисты. Без нужных людей очень сложно задать правильные вопросы. Также трудно узнать, какие данные могут потребоваться, чтобы ответить на них или извлечь максимальную пользу из новейших технологий. Именно люди будут создавать стратегию и формировать культуру работы с данными, поэтому уделите этому пункту максимальное влияние.

Литература

1. Proactive Asset Management with IIoT and Analytics, ARC Advisory Group, January 15, 2015, By Ralph Rio.

2. Как сократить расходы на обслуживание оборудования на 40 %. Блог Кирилла Костанецкого . – URL: https://nv.ua/techno/technoblogs/chto-takoe-prediktivnoe-obsluzhivanie-2476568.html.

3. Asset Performance Management Overcomes Challenges in the Oil & Gas Industry, ARC Advisory Group, Ноябрь, 2016.

4. Прогнозная аналитика – способ адаптации в новых экономических реалиях . – URL: http://www.iksmedia.ru/articles/5292204-Prognoznaya-analitika-sposob-adapta.html.

5. Использование расширенной аналитики для повышения производительности и прибыльности химического производства . – URL: https://www.mckinsey.com/industries/chemicals/our-insights/using-advanced-analytics-to-boost-productivity-and-profitability-in-chemical-manufacturing.

6. Глобальный прогноз рынка технического обслуживания на 2019–2027 гг. https://www.inkwoodresearch.com/reports/global-predictive-maintenance-market/.

7. Predictive Maintenance for Improved Performance in Oil and Gas, Kim Custeau, Director of Information and Asset Management, Schneider Electric.

8. ГОСТ Р ИСО 20815-2013 определяет, что для обеспечения эффективности производства «в процессе эксплуатации эксплуатационные данные необходимо собирать непрерывно или с заданной периодичностью. Анализ собранных данных необходимо проводить регулярно для выявления потенциальных возможностей повышения надежности и снижения риска», что позволяет организовать «техническое обслуживания в зависимости от состояния».

9. ГОСТ Р 55.0.00-2014 Национальный стандарт Российской Федерации. Управление активами Национальная система стандартов. Основные положения.

10. ГОСТ 18322-2016. Межгосударственный стандарт. Система технического обслуживания и ремонта техники. Термины и определения.

11. Приказ Минэнерго России от 25.10.2017 № 1013 (ред. от 13.07.2020) Об утверждении требований к обеспечению надежности электроэнергетических систем, надежности и безопасности объектов электроэнергетики и энергопринимающих установок. Правила организации технического обслуживания и ремонта объектов электроэнергетики.

12. РД 153-39ТН-008-96 ОАО «АК «Транснефть», Регламент технического обслуживания и диагностического контроля насосных агрегатов.

13. РД 39-1.10-083-2003, Положение о системе технического диагностирования оборудования и сооружений энергохозяйства ОАО «Газпром» СТО Газпром.

14. Industry 4.0 and the digital twin. «https://www2.deloitte.com/us/en/insights/focus/industry-4-0/digital-twin-technology-smart-factory.ht…» Aaron Parrott, Lane Warshaw.

Комментарий эксперта

       

Иван Иванов

«Несмотря на то, что сегодня всё больше и больше вопросов уделяется прогнозной аналитике, приходится констатировать тот факт, что далеко не на всех проектах успешно реализован первый этап для работы с данными — сбор корректных данных о пользователях, например, о том, какие действия пользователи совершают на сайте. 

В ряде случаев (и это отмечено в статье) бизнесу необходимо менять свой подход или организацию внутренних бизнес процессов для того, чтобы максимально автоматизировать процесс сбора данных и исключить человеческий фактор. Как верно описано в материале, любая модель будет работать и предоставлять значимую информацию только на основе достоверных данных. 

При принятии решения об использовании возможностей современных аналитических инструментов нужно быть готовым к изменениям, при этом сопоставлять затраты на внедрение подобных систем и то, какой эффект от их использования может быть получен».

Рекомендуем:

  • Совершенствуем маркетинговую автоматизацию. Что нужно знать о предиктивном анализе?
  • Внедрить data-driven и остаться в живых. Подводные камни веб-аналитики
  • Data-driven и MarTech — без чего невозможен маркетинг будущего
  • MarTech глазами маркетолога
  • Как мы с помощью предиктивных моделей сэкономили 20% бюджета на продвижение мобильных игр

Как можно обучить модель

Первый способ — использование заранее известного «таргета», например, увольнения. Берутся реальные сотрудники, которые покинули компанию, были релоцированы или сменили проект на тот, в котором они более эффективны и успешны. После этого вычленяются присущие им атрибуты: время работы в компании, количество детей, регион проживания, выступления на конференциях, обучение за этот период, бонусы и так далее. То есть создается некий цифровой образ сотрудника. 

Дальше по этим атрибутам определяются признаки, которые больше всего подходят человеку и его ситуации. Как результат, менеджер получает сигнал о том, что с конкретным сотрудником стоит обсудить карьерный путь и планы. Однако таргеты не всегда существуют, поэтому иногда опираться приходится на гипотезы. 

Второй способ — это симулирование «таргета» на основании экспертного мнения. Например, чтобы определить «таргет» для обучения модели по поиску «звезд», можно взять список гипотез (люди играют в компании роли, которые обычно играют «звезды», запускают новые процессы и так далее). На основе этой информации атрибутам придаются различные веса. В итоге можно получить достаточно хорошую модель, но в ней будет присутствовать «предвзятость» (bias) экспертов.

Где еще используются системы аналитики Big Data и как их внедрить

Отметим области деятельности с наиболее высоким спросом на аналитику данных, как дескриптивную, так и предписывающую :

  • медицина – постановка диагноза на основании симптомов болезни, выявление факторов, провоцирующих заболевание, определение склонности к заболеванию в будущем, формирование рекомендаций и выписка лекарств для лечения и профилактики болезней. Впрочем, некорректная настройка модуля Machine Learning в этом случае может привести к трагическим последствиям, о чем мы рассказывали здесь.
  • реклама и маркетинг – определение эффективности промо кампаний, выявление наиболее результативных каналов и форм подачи информации (персонализированный таргетинг), построение рекомендательных систем, формирование спроса на основе интересов пользователя и его поведения в сети, прогнозирование и предупреждение оттока клиентов (Churn Rate), оптимизация ценообразования.
  • страхование и кредитование – точное определение суммы возмещения или кредита, скоринговая оценка клиента. Например, сегодня это уже реализовано в совместном проекте российских банков с компанией Яндекс, когда банки оценивают платежеспособность потенциального заемщика по истории его запросов в поисковой системе. Подробнее об этом мы писали здесь.
  • промышленность – выявление ключевых факторов, влияющих на качество продукции и выполнение производственных процессов, предсказание отказов оборудования, составление графика профилактических проверок и ремонта техники, прогнозирование спроса на продукцию, оптимизация загрузки производственных мощностей и предупреждения о будущих внештатных ситуациях. Реальные примеры промышленного использования Big Data систем предиктивной и предписывающей аналитики на базе IoT/IIoT и Machine Learning читайте тут.
  • финансы и безопасность – выявление и предупреждение случаев мошеннических операций (антифрод-системы), распознавание вредоносных программ и случаев утечки данных, о чем мы рассказывали здесь.
  • управление человеческими ресурсами (HR) – выявление ключевых факторов, влияющих на компетентность сотрудников, составление модели профессиональных компетенций, прогнозирование увольнений, предупреждение профессионального выгорания и рабочих конфликтов . Подробнее об этом мы расскажем в следующей статье.

Внедрение аналитических Big Data систем – это комплексный поэтапный проект, который часто выполняется в рамках цифровизации бизнеса. Предписывающая аналитика находится на вершине пирамиды и опирается на предыдущие уровни: предиктивную, диагностическую и описательную 2]. Поэтому для формирования оптимальных управленческих решений на основе данных необходимо, прежде всего, накопить релевантный объем этой информации, достаточный для корректного обучения алгоритмов Machine Learning. Некоторые аналитические задачи решаются с помощью современных BI-инструментов, например, коммерческих платформ типа Oracle Data Mining, SAP BusinessObjects Predictive Analysis, SAP Predictive Maintenance and Service, IBM Predictive Insights или open-source решений (KNIME, Orange, RapidMiner) . На практике многие предприятия, вступившие на путь цифровой трансформации, создают собственные системы аналитики больших данных. При этом используются разнообразные технологии Big Data, например, Apache Hadoop – для хранения информации (в HDFS или HBase), Kafka – для сбора данных из различных источников, а Spark или Storm – для быстрой аналитической обработки потоковой информации. В частности, именно так реализована рекомендательная система стримингового сервиса Spotify, о которой мы рассказывали здесь. Таким образом, организация предиктивной и, тем более, предписывающей аналитики данных – это одна из ключевых задач цифровизации бизнеса.


Виды аналитики данных и вопросы, на которые они отвечают

Как внедрить систему аналитики больших данных и запустить цифровую трансформацию своего предприятия, вы узнаете, пройдя обучение на наших образовательных курсах в лицензированном учебном центре обучения и повышения квалификации руководителей и ИТ-специалистов (менеджеров, архитекторов, инженеров, администраторов, Data Scientist’ов и аналитиков Big Data) в Москве:

Аналитика больших данных для руководителей

Смотреть расписание
Записаться на курс

Источники

  1. https://www.oracle.com/ru/business-analytics/what-is-analytics.html
  2. https://iot.ru/promyshlennost/kakaya-analitika-nuzhna-vashey-kompanii
  3. http://www.tadviser.ru/index.php/Статья:Предикативная_аналитика_(предиктивная,_прогнозная,_прогностическая)_Predictive_analytics
  4. https://finassessment.net/blog/predictiv-analitika-hr

Нейронная теория в предиктивном кодировании

Оценка эмпирических данных, предполагающих неврологически правдоподобную основу для прогнозирующего кодирования, — это обширная и разнообразная задача. Во-первых, и согласно модели, прогнозирующее кодирование происходит на каждом итеративном шаге в перцептивных и когнитивных процессах; соответственно, проявления предсказательного кодирования в головном мозге включают генетику, специфическую цитоархитектуру клеток, системные сети нейронов и анализ всего мозга. Из-за такого диапазона специфичности были применены различные методы исследования нейронных механизмов прогнозирующего кодирования, где это возможно; В более общем плане, однако, и, по крайней мере, в отношении людей, существуют значительные методологические ограничения для исследования потенциальных доказательств, и большая часть работы основана на компьютерном моделировании микросхем в головном мозге. Тем не менее, была проведена значительная (теоретическая) работа, которая была применена для понимания механизмов прогнозирующего кодирования в мозге

В этом разделе основное внимание будет уделено конкретным свидетельствам, связанным с явлением предсказательного кодирования, а не аналогами, такими как гомеостаз (которые, тем не менее, являются неотъемлемой частью нашего общего понимания байесовского вывода, но уже сильно поддерживаются; см. Обзор Кларка).

Большая часть ранних работ, в которых применялась структура прогнозирующего кодирования к нейронным механизмам, исходила от сенсорных нейронов, особенно в зрительной коре.

В более общем плане, однако, теория, по-видимому, требует (по крайней мере) двух типов нейронов (на каждом уровне иерархии восприятия): один набор нейронов, кодирующих входящие сенсорные данные, так называемые проекции с прямой связью; один набор нейронов, которые отправляют прогнозы, так называемые проекции с обратной связью

Важно отметить, что эти нейроны также должны обладать свойствами обнаружения ошибок; какой класс нейронов обладает этими свойствами, все еще остается предметом обсуждения. Такого рода нейроны нашли поддержку в поверхностных и неповерхностных пирамидных нейронах.

На более общем уровне мозга есть свидетельства того, что разные корковые слои (также известные как пластинки) могут способствовать интеграции проекций с прямой и обратной связью по иерархиям. Эти корковые слои, разделенные на гранулярные, агранулярные и дисгранулярные, в которых находятся субпопуляции нейронов, упомянутые выше, делятся на 6 основных слоев. Цитоархитектура в этих слоях одинакова, но они различаются по слоям. Например, слой 4 зернистой коры содержит гранулярные клетки, которые являются возбуждающими и распределяют таламокортикальные сигналы на остальную часть коры. По одной модели:

В общем, нейронные доказательства все еще находятся в зачаточном состоянии.

Производство.

Для производителей простой оборудования может обходиться в миллионы долларов в год в виде упущенной выгоды, затрат на ремонт и производственного времени. Встраивая предиктивную аналитику в свои приложения, руководители производства могут отслеживать состояние и производительность оборудования и прогнозировать сбои до того, как они произойдут.

Типичный пример прогнозной аналитики на производстве включает определение вероятности поломок. Затем производители могут заранее спланировать остановку оборудования для профилактического обслуживания. Они также могут использовать прогнозную аналитику для ограничения или предотвращения любого воздействия на производственный процесс.

Проблема 4: Рынок пока не осознаёт ценность аналитики

Как мы уже говорили, рынок сегодня застрял между описательной и диагностической аналитикой, и только единичные компании могут получать инсайты из своих данных. Поэтому для большинства непонятна не только ценность прогнозов, но и возможность их использования. В то же время, учитывая скорость, с которой развиваются лидеры отраслей, начинать внедрять data-driven маркетинг нужно уже сейчас, даже если пока что вы не понимаете, как именно будете использовать полученный результат. 

Если сегодня вы просто начнёте собирать данные, то уже через год, когда о прогнозах заговорят все вокруг, у вас будет фундамент для старта.

Со временем вы научитесь работать со своими данными и увидите, что принимать решения об управлении бюджетами на основе прогнозов гораздо эффективнее, чем на основе данных прошлых периодов. Ведь на будущее вы можете повлиять, а прошлое уже произошло.

Что можно прогнозировать.

  • Количество будущих конверсий: заказов, оплат, подписок.
  • Прибыль, которую принесёт клиент за всё время сотрудничества.
  • Продолжительность сотрудничества с клиентом — как скоро он перестанет покупать у вас.
  • Что будет, если сфокусироваться на определенных каналах, и что, если на других. Что, если увеличить бюджет, а что — если нет. Какие товары будут пользоваться спросом в регионе А у аудитории В.
  • Любые числовые параметры, которые можно взять из исторических данных.

На практике эту информацию можно использовать, например, в следующих целях.

  • RFM-анализ. Позволяет сделать сегменты исходя из покупательской активности пользователей, предсказать, какой сегмент перестанет покупать в будущем и какое предложение нужно сделать ему сегодня, чтобы увеличить доход завтра.
  • Динамический прайсинг. Собирая историю пользователя, можно сформировать не самую низкую, но приемлемую цену на интересующие его товары, по которой он, вероятнее всего, купит товар. То есть вам не надо показывать цену ниже, чем у конкурентов, так как пользователь ориентируется только на ваши цены и персональное предложение.
  • Управление ставками для разных клиентов по LTV. Можно рассчитать прогнозированный LTV для разных когорт и, если планируемый доход с когорты А выше, чем с когорты В, — мы может увеличить ставку на рекламу.