ВТБ впервые внедрил Hadoop и PostgreSQL для работы с большими данными

Большие данные в банкеВТБ Как стало известно CNews, в банке ВТБ завершился пилотныйпроект по внедрению инструментов больших данных с использование свободного ПО.В организации была развернута система формирования аналитической и управленческойотчетности на открытой платформе Hadoop с применением технологий обработкиданных Apache Spark и Apache Zeppelin. В качестве реляционной СУБД былазадействована свободная PostgreSQL. Об этом рассказал управляющий директордепартамента транзакционного бизнеса банка ВТБ Андрей Новаков. При этом он пояснил, что PostgreSQLнепосредственной частью системы не является и в случае необходимости может бытьзаменен на другую базу данных. Для банка это стало первым опытом в области больших данных,хотя в целом в группе ВТБ (в частности, в ВТБ 24) уже внедрены проприетарныерешения Teradata, SASи Oracle.Новаков считает, что используемый в банке ВТБ стек технологий открытыхпродуктов экономически более эффективен. Система получила название ГАУСС (GAUSS) — Global TransactionBusiness Analytic Unified Source & System, единая аналитическаясистема-источник для транзакционного бизнеса. «Вендором проекта выступилакомпания Luxoft», — сообщили в организации. При этом права на систему послевнедрения в промышленную эксплуатацию по договору перейдут к банку ВТБ, лицензионныеплатежи не потребуются. http://filearchive.cnews.ru/img/news/2017/07/10/vtb600.jpg"> Банк ВТБ впервые обратился к большим данным Компания с российскими корнями Luxoft внедряла решения вобласти больших данных в банках Deutsche Bank, UBS, Nordea. На нынешний момент ГАУСС используется для построенияотчетности, но также рассматривается его применение для оценки различных рисков(кредитных, клиентских, партнерских), выявления мошеннических схем,моделирования целевых коммерческих предложений и пр. В планах его интеграция саналитической системой Microsoft Business intelligence, которая уже действует вбанке и будет адаптирована для ГАУССа. Проект стартовал в ноябре 2016 г. Ключевой его этапзавершился в мае 2017 г., после чего было принято решение о развитиифункциональности к сентябрю 2017 г. «Система вскоре начнет получать данные изальтернативных источников, и будут разработаны необходимые аналитические формыдля целей моделирования и мониторинга продаж продуктов транзакционного бизнеса»,— утверждают в банке. В организации заверяют, что в рамках проекта была созданамодель данных только для одной из линий бизнеса, но она может стать основой дляонтологии и модели данных всего банка. Размер инвестиций в систему в банке не раскрывают. [b]Подробности проекта[/b] ГАУСС работает на кластерах, состоящих из множества узлов, где предусмотренодублирование системы на случай выхода из строя одного из них и осуществляетсяподдержка нескольких рабочих копий данных. «Hadoop был выбран для построения системы, так как его работаоснована на принципе параллельной обработки данных, — поясняют в банке — этопозволяет увеличить скорость формирования отчетности и построения прогнозов.Система отличается особой отказоустойчивостью и возможностью параллельнойработы и пользователей, и программистов одновременно». Система ГАУСС впервые в группе ВТБ была реализована по известномуметоду гибкой разработки Agile scrum. В банке считают, что при использованиитрадиционных подходов проект растянулся бы на год, то есть занял бы в два разабольше времени. «Кроме того, уже в ходе проекта были внесены правки иизменения, что существенно повышает качество конечного результата», — отмечаютв организации. За время работы над ГАУССом была проведена аналитическаяработа с базами данных банка, в системе уже сформированы массивы информации за2014-2016 гг. «В итоге на сегодня создаются условия для запроса материалов понеограниченному сочетанию параметров и вариантов», — говорят в банке. [b]Несколько фактов обанке ВТБ[/b] Банк ВТБ выступает ключевым активом российской финансовойгруппы ВТБ, объединяющей более 20 кредитных и финансовых компаний, работающихво всех основных сегментах финансового рынка. По данным ранкинага «Интерфакс-100», по итогам первогоквартала 2017 г. банк сохранил за собой второе место в России по величинеактивов, объем которых составил 9,3 млрд руб.[img]http://filearchive.cnews.ru/img/news/2017/07/10/vtb600.jpg"> Банк ВТБ впервые обратился к большим данным Компания с российскими корнями Luxoft внедряла решения вобласти больших данных в банках Deutsche Bank, UBS, Nordea. На нынешний момент ГАУСС используется для построенияотчетности, но также рассматривается его применение для оценки различных рисков(кредитных, клиентских, партнерских), выявления мошеннических схем,моделирования целевых коммерческих предложений и пр. В планах его интеграция саналитической системой Microsoft Business intelligence, которая уже действует вбанке и будет адаптирована для ГАУССа. Проект стартовал в ноябре 2016 г. Ключевой его этапзавершился в мае 2017 г., после чего было принято решение о развитиифункциональности к сентябрю 2017 г. «Система вскоре начнет получать данные изальтернативных источников, и будут разработаны необходимые аналитические формыдля целей моделирования и мониторинга продаж продуктов транзакционного бизнеса»,— утверждают в банке. В организации заверяют, что в рамках проекта была созданамодель данных только для одной из линий бизнеса, но она может стать основой дляонтологии и модели данных всего банка. Размер инвестиций в систему в банке не раскрывают. Подробности проекта ГАУСС работает на кластерах, состоящих из множества узлов, где предусмотренодублирование системы на случай выхода из строя одного из них и осуществляетсяподдержка нескольких рабочих копий данных. «Hadoop был выбран для построения системы, так как его работаоснована на принципе параллельной обработки данных, — поясняют в банке — этопозволяет увеличить скорость формирования отчетности и построения прогнозов.Система отличается особой отказоустойчивостью и возможностью параллельнойработы и пользователей, и программистов одновременно». Система ГАУСС впервые в группе ВТБ была реализована по известномуметоду гибкой разработки Agile scrum. В банке считают, что при использованиитрадиционных подходов проект растянулся бы на год, то есть занял бы в два разабольше времени. «Кроме того, уже в ходе проекта были внесены правки иизменения, что существенно повышает качество конечного результата», — отмечаютв организации. За время работы над ГАУССом была проведена аналитическаяработа с базами данных банка, в системе уже сформированы массивы информации за2014-2016 гг. «В итоге на сегодня создаются условия для запроса материалов понеограниченному сочетанию параметров и вариантов», — говорят в банке. Несколько фактов обанке ВТБ Банк ВТБ выступает ключевым активом российской финансовойгруппы ВТБ, объединяющей более 20 кредитных и финансовых компаний, работающихво всех основных сегментах финансового рынка. По данным ранкинага «Интерфакс-100», по итогам первогоквартала 2017 г. банк сохранил за собой второе место в России по величинеактивов, объем которых составил 9,3 млрд руб.