Microsoft представила новую версию Azure Data Lake для хранения, обработки и анализа больших данных

Корпорация Microsoft представила новую расширенную версию Azure Data Lake. Новинка поможет вендорам, специалистам по обработке данных и аналитикам хранить информацию любого объема, а также обрабатывать и анализировать ее на любой платформе и на любом языке, сообщили CNews в Microsoft. В обновленную версию Azure Data Lake вошли: облачное хранилище больших данных, новый аналитический сервис, служба кластеров HDInsight для платформы Linux, интегрированные инструменты разработки на Visual Studio, а также новые приложения Hadoop ISV. Объявление стало частью глобальной стратегии Microsoft в области аналитики и больших данных, отметили в корпорации. «Microsoft уделяет много внимания развитию платформы для работы с большими данными. Мы создаем инструменты обработки информации любого типа и объема, которыми наши заказчики могут воспользоваться как в “облаке”, так и в локальной инфраструктуре, — заявил Дмитрий Марченко, директор по продвижению облачной платформы Microsoft в России. — Наша цель — сделать технологии Big Data более простыми и доступными для максимально широкого круга пользователей — разработчиков, аналитиков, ученых и ИТ-специалистов. И мы надеемся, что обновление Azure Data Lake станет большим шагом к ее достижению». Azure Data Lake Store — это гибкое масштабируемое хранилище данных, которое позволяет работать с неструктурированной, полуструктурированной и структурированной информацией. С его помощью можно собирать информацию любого типа и размера, получать доступ к ней и анализировать ее, избегая сбоев в производственных процессах и поддерживая требуемый уровень безопасности сети, что, например, критически важно для стабильной работы IoT-сценариев, отметили в Microsoft. Платформа станет доступна пользователям в ближайшее время. Azure Data Lake Analytics — новый сервис анализа данных, созданный на базе Apache YARN для работы в «облаке». По словам разработчиков, Azure Data Lake Analytics справляется с информацией любого масштаба, регулируя нагрузку на сеть. Модель предоставления сервиса предполагает, что клиенты будут оплачивать только те периоды, когда он использовался, а также поддержку Azure Active Directory. В новую версию Azure Data Lake также включен сервис Azure HDInsight, разработанный на базе Apache Hadoop. HDInsight позволяет раскручивать неограниченное количество узлов за считанные минуты, утверждают в корпорации. Azure HDInsight предлагает пользователям широкие возможности экосистемы Hadoop в рамках легко управляемого сервиса, работу которого поддерживают специалисты Microsoft. Сегодня сервис стал доступен для пользователей платформы Linux. При этом корпорация ведет работу над версией для Ubuntu. Microsoft также подготовила обновление инструментов разработки, отладки и настройки ПО Visual Studio. Azure Data Lake Tools для Visual Studio предлагают интегрированную среду разработки, доступную для работы с SQL and .NET. А поддержка U-SQL в Azure Data Lake для Visual Studio повышает производительность средств анализа и оптимизирует процессы на тысячах узлов, отметили в компании. Наконец, Hadoop ISV — это пакет приложений для управления информацией, вошедший в новейшую редакцию Data Lake. Он включает в себя средства непрерывной аналитики больших данных, такие как Datameer, технологии защиты и управления информацией — Dataguise и BlueTalon, а также DataTorrent и инструменты визуализации AtScale и Zoomdata. Ссылка на источник