Обработка в потоке набирает обороты

В ходе исследования были опрошены организации, штатная численность сотрудников в которых составляет 500 и более человек. В опросе приняли участие руководители ИТ-департаментов и представители бизнес-подразделений. Как отмечают исследователи, сегодня необходимость быстрого принятия решений особенно важна и компании стремятся анализировать данные в момент их появления. Потоковая аналитика или аналитика в реальном времени предполагает использование специальных технологий, которые ориентированы на получение и переработку большого потока постоянно обновляющихся данных в микро-пакеты по мере их поступления. По данным исследования, более 56% компаний, принявших участие в опросе, уже используют технологию потоковой обработки данных в своей работе. Участники всех отраслей в исследовании выделяют две задачи, для которых важно приблизить процесс принятия решений к реальному времени: создание уникального клиентского опыта (84%) и обеспечение безопасности и непрерывности бизнеса (88%). Среди других задач бизнеса, где быстрый доступ к информации становится все более значимым, респонденты розничной торговли отмечают поддержку омниканального взаимодействия с клиентом, а операторы связи вывод новых продуктов и услуг на рынок. Более 70% компаний финансового сектора в своих бизнес-процессах используют или планируют использовать аналитику в режиме реального времени для предотвращения мошенничества при оформлении кредитных заявок и обнаружения подозрительных транзакций. Более 65% для мониторинга событий информационной безопасности и анализа поведенческой активности. Более 60% финансовых компаний планируют использовать технологию потоковой обработки данных для скоринга, анализа логов приложений и рекомендаций. Однако объединенные данные по трем индустриям показывают, что именно клиентская аналитика в фокусе для всех компаний (более 80%). На сегодняшний день 44% опрошенных компаний не применяют потоковую обработку данных. Главным сдерживающим фактором у 73% из их числа стал недостаток опыта работы с данной технологией. Сложность интеграции останавливает 59% респондентов, и 45% необходимость передавать данные в устаревшие системы. При этом потребность быстрого принятия решений и переход клиентов в онлайн взаимодействие заставляет компании задуматься об аналитике в режиме реального времени для предоставления более высокого качества услуг. Основным драйвером для внедрения технологии станет возросшая конкуренция, этот пункт отметили около 90% респондентов. На втором месте активный переход пользователей в онлайн – 75%, на третьем месте цифровая трансформация компании – 71%.
По мнению респондентов, во внедрении потоковой аналитики лучше опираться на сторонние сервисы и экспертизу. На самостоятельную разработку может уйти несколько лет, за которые можно отстать и потерять конкурентноспособность. Поэтому 53% опрашиваемых компаний, которые еще не внедрили технологию планируют привлечь сторонних консультантов для формирования бизнес-задачи, технических требований и выбора поставщика решения. "Компании, которые примут решение ускорить доступ к необходимой информации, должны быть готовы к тому, что часть бизнес-процессов придется пересмотреть или заменить, так же, как и архитектуру решений. Для быстрого и экономически выгодного внедрения технологий потоковой обработки данных стоит обратиться в сторонние компании, имеющие данную экспертизу. Привлечение компаний, имеющих опыт работы с технологией, поможет в формировании бизнес требований и технической реализации выбранного решения, - говорит директор по исследованиям IDC в России и СНГ Елена Семеновская. - Одним из решающих факторов перехода к аналитике в реальном времени является доверие бизнеса к информации, полученной из потока событий, и его готовность использовать ее в процессе принятия решений. Этот культурный аспект нужно учитывать всем представителям компаний, которые принимают решение о том, что их бизнес будет работать с данными в реальном времени". "Сегодня мы видим повышенный интерес к технологии потоковой обработки данных. Получение информации в формате, приближенном к реальному времени, снижает финансовые и операционные риски и повышает лояльность заказчиков во всех клиентоориентированных организациях. Улучшение клиентского опыта напрямую связано со скоростью доступа к информации о клиенте и возможности предложить ему персонализированные товары и услуги", - добавил главный архитектор компании "Неофлекс" Геннадий Волков. Представитель пресс-службы ПАО "Промсвязьбанк" (ПСБ) отметил, что банк применяет платформу потоковой обработки, реализованную на системе Kafka. Она используется в решениях для сбора, анализа и обработки данных по мониторингу бизнес-активностей банка в реальном времени и позволяет выстроить устойчивую работу всех систем банка при высоких и пиковых нагрузках. "Преимуществами этой платформы являются эластичная горизонтальная масштабируемость без остановки процессов. При этом не требуются расходы на дополнительные системы хранения и более сложные методы разработки логики обработки данных. В настоящий момент в ПСБ запланировано применение решений потоковой обработки данных по всем направлениям бизнеса, где ключевым решением станет журнальная архитектура, реализованная на Kafka, наравне с микросервисной. Эта система позволяет обработать большой объем бизнес-событий в реальном времени", - отметили в пресс-службе банка. Широкое применение системы потоковой обработки данных находят и у операторов связи. "Мы используем собственные разработки на базе ряда фреймворков для сбора сетевой статистики и технических показателей. В основном, это свободное программное обеспечение для потоковой обработки данных: Kafka, Spark Streaming и др. Решения позволяют нам оперативно, практически "на лету" управлять сетью, строить перспективные бизнес-процессы, устранять неполадки и решать другие оперативные вопросы. Кроме того, они дают возможность выстраивать новые способы интерактивного взаимодействия с абонентами, оперативно информировать о новых услугах и своевременно подключать их. В будущем мы планируем расширить перечень наших сервисов, способных на базе потоковых данных решать как аналитические задачи, так и задачи машинного обучения", - отметил представитель пресс-службы ПАО "МегаФон". Директор по управлению данными ПАО "Ростелеком" Сергей Носов отметил, что потоковая обработка данных нужна в тех случаях, когда важна высокая скорость реакции на новые события. "Ростелеком" уже в течение нескольких лет активно использует технологии потоковой обработки данных для решения задач обеспечения непрерывности бизнеса, повышения клиентского опыта, повышения продаж. В частности, для контроля качества услуг доступа в интернет и интерактивного телевидения. Это дает нам возможность наряду с расчетом различных маркетинговых аналитик обеспечить мониторинг в режиме реального времени технических характеристик и предпринимать корректирующие действия ещё до возникновения аварийных ситуаций. Другим важным примером использования таких технологий является мониторинг и реагирование на киберугрозы. Кейсов использования таких инструментов становится все больше в силу возрастающей на рынке конкуренции. В технологическом плане мы опираемся на open source-стек инструментов для работы с данными: Spark, Kafka, NiFi", - отметил Сергей Носов. В ритейле также есть место применению технологий потоковой обработки данных. Старший вице-президент по информационным технологиям компании "Связной" Сергей Есман указывает на то, что компания уже давно использует собственную технологию потоковой обработки данных для решения различных задач: клиентская аналитика, мониторинг процессов, безопасность, обеспечение синхронизации онлайн и оффлайн процессов и т.д. "Безусловно, ее главными плюсами является увеличение скорости реакции и принятия решений при происходящих изменениях. В дальнейшем мы планируем продолжать развивать эту технологию в нашей компании", - отметил он. Ссылка на источник