ICDE приняла первую академическую статью Apache ShardingSphere
Недавно Международная конференция по инженерии данных (ICDE) приняла «Apache ShardingSphere: целостную и подключаемую платформу для разделения данных, созданную в соавторстве с сообществом Apache ShardingSphere, лабораторией SphereEx и кафедрой компьютерных наук Чунцинского университета. )», одна из крупнейших международных конференций по инженерии данных и базам данных. Этот документ конференции является первым документом, посвященным сегментированию данных в индустрии баз данных.
ICDE — это научная конференция высшего уровня по базам данных и интеллектуальному анализу данных, а также флагманская конференция Института инженеров по электротехнике и электронике (IEEE), крупнейшей в мире технической профессиональной организации по развитию технологий. ICDE, ACM SIGMOD Conference и Международная конференция по очень большим базам данных известны как три крупнейших конференции по управлению данными и базам данных в мире.
Публикация этого документа представляет собой кульминацию 5-летних исследований и разработок и тестирования реализации для Apache ShardingSphere в соответствии с его концепцией разработки Database Plus. Принятие этой статьи свидетельствует о признании Database Plus, усовершенствованного вычислительного движка Apache ShardingSphere и архитектуры, ориентированной на подключаемые модули, академическим сообществом.
Благодаря принятию этой статьи наше сообщество с гордостью сообщает, что наши усилия привели к инновационным прорывам в основных технологиях баз данных.
В этой статье соавторы предлагают следующее: учитывая, что сегодня реляционные базы данных, которые недостаточно масштабируемы и эффективны для решения задач с высокой степенью параллелизма, по-прежнему доминируют в онлайн-обработке транзакций и что базы данных NewSQL могут привести к дополнительным затратам на обучение, промежуточное программное обеспечение базы данных Apache ShardingSphere становится очень удобный и эффективный способ подключения и управления несколькими базами данных.
Apache ShardingSphere: путь научного развития
Почему мы решили улучшить экосистему баз данных, а не создавать новую базу данных?
Целью Apache ShardingSphere является более эффективное использование вычислительных возможностей и возможностей хранения реляционных баз данных в распределенных сценариях, а не реализация нового типа реляционной базы данных.
Пока что, поскольку реляционные базы данных по-прежнему являются лучшим выбором для полных транзакций, они часто используются для обработки онлайн-транзакций. Однако реляционная база данных предназначена для одной машины. Другими словами, на начальном этапе разработчики не учитывали большие данные. Короче говоря, реляционные базы данных менее масштабируемы для эффективного решения проблем с высокой степенью параллелизма.
В этом контексте появился NewSQL. Однако New означает, что этот тип базы данных разработан с нуля. Хотя он подходит для текущих сценариев приложений, он не тестировался в достаточном количестве реальных производственных сред, а для специалистов по обслуживанию предприятия он требует крутой кривой обучения.
Apache ShardingSphere только что выпустила официальную версию 5.1.0. С этим обновлением Apache ShardingSphere также изменил свое позиционирование на Database Plus, стремясь создать стандарт и экосистему над другими базами данных. Помимо расширенных возможностей, архитектура Database Plus также открывает для разработчиков и пользователей масштабируемую экосистему баз данных.
Многочисленные возможности Apache ShardingSphere
- Подключаемый
Apache ShardingSphere использует модель «микроядро + трехуровневый подключаемый модуль», что делает ядро, функциональные компоненты и всю экосистему подключаемыми и масштабируемыми. Разработчики могут использовать наши плагины для настройки всех или некоторых функций ShardingSphere в соответствии со своими потребностями. В архитектуре Apache ShardingSphere все функции могут быть собраны в систему ShardingSphere точно так же, как строительные блоки. Вы можете использовать их по отдельности или комбинировать вместе по мере необходимости.
Однако при программировании SPI, ориентированном на стандарты разработчиков, инкрементные функции не влияют на ядро, поэтому несколько функциональных модулей ShardingSphere можно гибко комбинировать в реальных сценариях приложений, оставляя свободу действий нашим пользователям.
Кроме того, Apache ShardingSphere разработан на основе SPI (интерфейс поставщика услуг, механизм обнаружения услуг, предоставляемый Java JDK) среди других шаблонов проектирования. Таким образом, различные типы баз данных, функций и алгоритмов сегментирования могут быть легко добавлены, удалены или объединены по мере необходимости.
Среди них, как основного направления развития ShardingSphere, сегментирование данных всегда было для нас одной из самых важных функций. Для многих пользователей разделение данных было одной из причин, по которой они выбрали ShardingSphere. Вообще говоря, выполнение сегментирования данных в реляционных базах данных и снятие ограничения емкости отдельной машины с помощью горизонтального сегментирования данных является идеальным решением для предприятий.
- Высокая производительность
В документе упоминается, что Чунцинский университет и SphereEx провели несколько раундов тестов по сценариям тестирования Sysbench и TPCC, подтвердив, что при использовании той же конфигурации производительность Apache ShardingSphere превосходит большинство систем сегментирования и новых архитектур баз данных. Подробные записи показаны на следующих графиках:
Заключение
Apache ShardingSphere был принят и протестирован сотнями предприятий, от Интернета, игр, банковского дела, страхования и ценных бумаг, производства, телекоммуникаций, новых секторов розничной торговли до государственного сектора и т. д., и был протестирован в нескольких производственных сценариях.
После того, как его первая статья была включена в ICDE, концепция Apache ShardingSphere получила признание в академическом сообществе. В документе будут представлены новые решения для развития индустрии баз данных и повышения эффективности обработки данных.
Он также закладывает прочную теоретическую основу для применения распределенных возможностей в реляционных базах данных, популяризации архитектуры подключаемых модулей и создания слоя экосистемы над базовыми службами фрагментированной базы данных.
Мы надеемся, что эта статья и исследование Apache ShardingSphere вдохновят разработчиков и ученых в области баз данных на создание из баз данных платформы службы данных, более близкой к корпоративным бизнес-сценариям.