近日,浪潮KaiwuDB与西安电子科技大学合作的论文One Size Cannot Fit All: A Self Adaptive Dispatcher for Skewed Hash Join in Shared-Nothing RDBMSs和SLSM: An Efficient Strategy for Lazy Schema Migration on Shared-Nothing Database被数据库学术会议DASFAA 2024收录。山东浪潮数据库技术有限公司总经理、浪潮KaiwuDB 董事长张晖,浪潮KaiwuDB CTO 魏可伟,技术专家赵衎衎为论文共同作者。
“数据库系统高级应用国际会议(DASFAA)”是数据库领域的知名学术会议,具有广泛的国际影响力。DASFAA 聚焦数据库系统与应用领域的国际研究与开发前沿,深化数据库相关领域的国际学术合作与交流,迄今已有35年历史,是中国计算机学会(CCF)推荐的国际学术会议。本届DASFAA 2024会议共收到971篇论文投稿,经过双盲评审,最终有232篇论文被接收,整体接收率为23.9%。
一、One Size Cannot Fit All: A Self Adaptive Dispatcher for Skewed Hash Join in Shared-Nothing RDBMSs
近年来,无共享架构被广泛应用于关系型数据库(RDBMS)从而实现并行查询,并通过集群水平扩展实现加速。然而,实际业务中的数据倾斜对数据库系统的负载均衡提出巨大挑战,目前尚无一种哈希连接(Hash Join)算法能在所有数据倾斜场景中均取得较好的查询性能。本文聚焦分布式Hash Join(Dist-HJ)算法策略,研究集群节点之间的数据倾斜将如何影响负载平衡和最终效率,并提出了一种新颖的自适应Dist-HJ解决方案——利用内置的子算子成本模型,根据目标查询的数据倾斜在运行时动态选择最 佳Dist-HJ策略。经过实践验证,与市面上商业化RDBMS采用的常规Dist-HJ方案相比,论文提出的自适应模型实现了更好的性能。
二、SLSM: An Efficient Strategy for Lazy Schema Migration on Shared-Nothing Database
通过引入元数据更改的中间状态,无共享数据库能够进行在线、异步的模式更改。然而这种方法需要等待大量数据回填,易导致新模式的部署延迟。为了缩短新模式可用之前的服务真空期,本文提出了一种名为SLSM的策略,用于无共享数据库上的不停机模式迁移。SLSM在处理新模式上的写入事务前按需从旧模式迁移数据,并通过扩展执行计划将数据迁移与事务处理相结合,允许迁移中涉及的数据直接服务于事务,大大减少了事务执行的等待时间。实践证明,SLSM策略在降低事务延迟,提升迁移效率方面有显著优势。
西电-浪潮数据库创新实验室于2021年揭牌成立。三年以来,以实验室为依托,浪潮KaiwuDB与西电双方在学术研究、技术研发、服务产业需求、高端技术人才培养方面取得了显著成就,在数据库领域的技术能力和创新成果得到了广泛认可,多篇相关论文被数据库国际顶会及高水平期刊成功收录。未来,双方也将持续推进协同创新,并加速新技术成果在产品中落地,为行业打造高性能、高可靠的数据库产品。