Яндекс опубликовал исходный код своей СУБД ClickHouse

Изначально СУБД ClickHouse была разработана для Яндекс.Метрики — второй по величине системы веб-аналитики в мире (объём базы данных Метрики составляет 13 триллионов строк). Однако ClickHouse оказалась полезна и для других задач Яндекса. В том числе СУБД используется в Маркете, рекламных технологиях, системе мониторинга серверов, внутренней бизнес-аналитике. ClickHouse сравнительно прост для изучения, так как для запросов используется язык SQL. «Открытых СУБД с такими возможностями на рынке сейчас нет. Публикация исходного кода ClickHouse — это наш вклад в open-source, один из самых значимых в истории компании, - говорит Алексей Миловидов, руководитель группы разработки ClickHouse. - У нас было несколько причин для этого, в том числе и чисто прагматических. Применение технологии в областях, которыми Яндекс не занимается, помогает шире взглянуть на её возможности. У нас, например, уже есть положительный опыт использования ClickHouse в совместном проекте с ЦЕРН. К тому же расширение пользовательской базы позволяет узнавать о проблемах, о которых иначе было бы трудно догадаться, и улучшать продукт». В Яндексе отмечают, что сфера применения ClickHouse не ограничивается аналитикой сайтов и приложений. Технология может быть использована в телекоммуникациях, рекламе, RTB-системах и онлайн-торговле, для обработки данных мониторинга и телеметрии, а также для задач информационной безопасности. В Яндексе ClickHouse применяется не только в Метрике, но и в Маркете, Почте, Директе, Вебмастере и Авто.ру, для бизнес-аналитики и в мониторинге инфраструктуры. Серверы, подключённые к ClickHouse, могут находиться в разных местах, причём архитектура системы такова, что для добавления новых серверов не нужно перестраивать кластер. Поэтому ClickHouse легко масштабируется и позволяет хранить записи о триллионах событий — например, о действиях пользователей на сайте, о запросах к сервису или о показах рекламы. Система опробована на реальных задачах высоконагруженных сервисов Яндекса и постоянно развивается. Яндекс не впервые публикует исходный код своей технологии. Среди прочего, в открытом доступе находятся предназначенный для нагрузочного тестирования Яндекс.Танк, технология разработки сайтов БЭМ и инструмент для извлечения структурированных данных из текста Томита-парсер. Ссылка на источник