ПАО "Газпром нефть" первой среди российских компаний внедрила комплексную аналитическую платформу управления данными ("умное озеро данных

"Умное озеро данных" включает компоненты обработки, хранения и анализа данных – Data lake и хранилище данных, лабораторию продвинутой аналитики Data science, работающие в тесной интеграции с компонентами Data Governance. Внедрение аналитической платформы является частью стратегии цифровой трансформации дирекции региональных продаж, где около 50% всех аналитических проектов и инициатив уже реализуются в контуре "умного озера данных", а в 2020 г. – их доля достигнет не менее 75%. Как рассказали ComNews в "Газпром нефти", инвестиции в проект составили около 300 млн руб. Разработка велась преимущественно собственными силами сотрудников дирекции региональных продаж "Газпром нефти". Инвестиции были потрачены в основном на покупку оборудования и приобретение лицензий ПО, а также на оплату инженерных работ, рассказали в компании. Ключевые для "умного озера данных" компоненты Data Governance были реализованы на платформе Informatica. Партнером по поставке и поддержке внедрения продуктов Informatica выступила компания DIS Group, официальный представитель Informatica в России и СНГ. Как пояснили ComNews в "Газпром нефти", "Умное озеро данных ДРП" – это название комплексной системы управления данными, а не просто разновидность Data Lake. "Мы использовали такое название, чтобы кратко выделить ключевые особенности решения. "Умное озеро данных ДРП" включает в себя подсистемы Data Governance на платформе Informatica (каталог данных, управление качеством данных, бизнес-глоссарий, пользовательский портал обзора данных), компоненты интеграции данных, а также интегрированные с ними компоненты обработки больших данных (на основе Arenadata Hadoop), аналитическое хранилище данных (Microsoft SQL Server 2017), BI (Qlik), аналитическую лабораторию с набором инструментов Data Science", – пояснили ComNews в пресс-службе компании. Обычно в компаниях ИТ-подразделения внедряют системы обработки данных (озера и хранилища данных), и иногда бизнес-подразделения реализуют изолированные проекты в области Data Governance, рассказывают в "Газпром нефти". "В 2016 г. исследовательская компания Gartner опубликовала продвинутую архитектуру платформы Big Data, в которой компоненты для обработки различных данных работают совместно с компонентами управления данными. На сегодняшний день не существует готовых промышленных решений, реализующих в полной мере эту архитектуру, к ней приближаются Microsoft и Amazon в своих публичных облаках. Опубликованных проектов создания комплексных платформ управления данными внутри частных компаний нет даже в международной практике. Команда в ДРП реализовала такое комплексное решение (называемое для краткости "умное озеро данных"), обеспечив совместную работу компонент и участников команды разработки, на базе актуальных практических бизнес-кейсов", – объяснили уникальность разработки в компании. Комплексное решение создает гибкую инфраструктуру для любых задач анализа и системного улучшения качества данных, что позволяют бизнесу быстро разрабатывать и внедрять клиентские решения и повышать операционную эффективность сбытового бизнеса. За счет централизации обработки и хранения данных снижаются затраты на инфраструктуру и подготовку данных для проектов компании. Сотрудники получают мгновенный доступ через единый пользовательский портал к описаниям любых объектов и наборов данных. Компания может предугадывать предпочтения клиентов и персонализировать предложения. Первые задачи "умного озера" включили в себя обработку транзакций сети АЗС "Газпром нефть", расчет сегментов для клиентской аналитики, анализ обратной связи от клиентов. Кроме этого, в платформу были интегрированы данные значительного числа внешних источников, в частности, Санкт-Петербургской товарно-сырьевой биржи, сайтов Центробанков России и СНГ, географические и метеорологические ресурсы, метрики и отзывы Google, App Store, Яндекс, открытые данные социальных сетей, различные данные партнеров и сведения о конкурентах, данные мобильных приложений. "Мы создали комплексную инфраструктуру работы с данными, реализовав сложную современную архитектуру Big Data. Для выполнения проекта был создан Центр аналитических решений, включающий подразделения по инжинирингу данных и Центр компетенций по Data science, создана "с нуля" сильная команда внутри и вся разработка проведена без привлечения внешних подрядчиков. Мы уже видим эффект от внедрения "умного озера данных" в сокращении затрат на поиск и поставку качественных данных для цифровых инициатив и проектов. Ожидаем, что, благодаря активному использованию инструментов Data Governance в течение трех лет повысим качество данных на 60%, что значительно снизит операционные риски и затраты бизнеса", – отметил директор по региональным продажам "Газпром нефти" Александр Крылов. В рамках проекта создана универсальная централизованная среда для Big Data и продвинутой аналитики, в рамках которой данные становятся общедоступными для менеджеров на всех этапах обработки и работают инструменты, позволяющие системно улучшать качество данных. В планах у "Газпром нефти" постепенно интегрировать в эту среду все связанные с интеграцией данных и аналитикой проекты и инициативы сегмента сбыта моторных топлив. Внедрение подобных платформ управления данными – это важный шаг на пути к техническому перевооружению российских компаний, отмечает директор по развитию web-технологий компании Artezio (входит в группу "Ланит") Сергей Матусевич. "Газпром нефть", безусловно, инноватор в этой области, – фиксирует он. – Только за 2019 г. компания реализовала ряд крупных информационных проектов. Но нужно понимать, что у других российских компаний может не быть достаточных ресурсов, чтобы повторить подобные проекты. Основная проблема состоит в том, что подобные платформы не могут пока стать универсальными. Это снизило бы стоимость интеграции и позволило бы повысить эффективность работы многих российских компаний. Однако пока в каждом конкретном случае, речь идет о персонализированной разработке, даже в рамках одной индустрии или даже группы компаний". Особенность и уникальность системы "Газпром нефти" заключаются не только в том, что это масштабный Data Lake на уровне всего предприятия, интегрирующий большое количество различных источников, но и в том, что это одно из первых в России полномасштабных внедрений системы на базе инструментов Data Governance, указывает эксперт направления Big Data ИТ-компании "Крок" Егор Осипов. "Внедрение таких систем позволяет управлять данными компании, как активом: контролировать качество данных, повышать осведомленность бизнеса о наличии данных, а главное выстроить прозрачный процесс коммуникации между бизнесом и ИТ при работе с данными", – перечисляет он. Директор департамента Нефть и Газ компании "Техносерв" Андрей Глушук замечает, что "Газпром нефть" является лидером в отечественной индустрии по цифровизации и внедрению современных технологий. "Сейчас это решение можно назвать уникальным. Применение аналитической платформы Data lake и ее популяризация будут способствовать повышению операционной деятельности компаний не только нефтегазовой отрасли, но и других сфер", – полагает он. Ссылка на источник