2024 年 8 月 24 日,第十五届中国数据库技术大会(DTCC2024)圆满落下帷幕。这场历时三天的盛会由盛拓传媒旗下的 IT168、ITPUB 以及 ChinaUnix 技术社区联合主办,以 “自研创新,数智未来” 作为核心主题,致力于探索数据库技术未来的发展方向。
此次大会经过精心设计,设置了 2 个主会场以及超过 20 个技术专场。在这些会场中,众多前沿议题被深入探讨,其中涵盖向量数据库与向量检索技术的实践应用、数据治理与数据资产管理的最新策略、云原生数据库的开发与实践经验、特定场景下的数据库管理与优化技巧,还有大数据平台建设的实践等等。
8月24日,来到了专场最多、也让一线DBA十分期待的一天。当天有实时数仓、数据治理与数据资产管理、数据库管理工具创新、特定场景下的数据库管理与优化、向量数据库与向量检索技术实践、数据库管理工具创新、DataOPS、NoSQL数据库技术实践、大数据平台建设和湖仓一体化技术等十大重量级专场。
AI时代的数据飞跃:AnalyticDB实时湖仓
在数字化转型的浪潮中,阿里云数据库高级产品专家薛菲深入剖析了AI时代下的实时湖仓平台——AnalyticDB的未来蓝图。她强调,AnalyticDB以其极致弹性的扩展能力、深度智能化的数据洞察、强隔离环境下的高性能处理,正引领企业级市场全面升级。
▴阿里云数据库高级产品专家 薛菲
AnalyticDB通过创新的Zero-ETL技术,实现了OLTP到OLAP的无感集成,显著降低了链路成本和构建数仓的复杂度,提升了60%的效率,并降低了30%的成本。其冷热数据分层功能,更是让存储成本下降了10倍,热数据存储在高性能介质上,冷数据则移至低成本对象存储,实现了性价比的飞跃。
薛菲还分享了AnalyticDB的几大亮点,包括Multi-Cluster自动弹性能力,能有效应对突发流量,4-5倍弹性资源时,Multi-Cluster弹性模型相比Min-Max弹性模型,QPS提升26%~28%;资源组隔离技术,确保了不同业务间的互不影响;以及智能负载管理WLM,确保大查询不挂,小查询秒回。这些特性共同构建了AnalyticDB在复杂业务场景下的高性能处理能力。
此外,AnalyticDB还融合了MPP在线分析与BSP离线处理引擎,实现了计算资源的灵活调度与高效利用。在客户案例中,AnalyticDB凭借其强大的功能,帮助游戏客户实现了精准的行为预测,显著提升了运营效果;在营销分析中,通过RoaringBitmap和漏斗分析函数,实现了秒级查询性能,大大提升了业务效率。
深度去O:国产数据库性能兼容与优化攻坚
随着国产数据库技术的飞速发展,数据库的平滑替换已成为业界关注的焦点。在替换过程中,面对国产数据库与商业数据库之间复杂的架构和内核差异,如何在最小化应用代码和业务SQL变动的前提下实现高效替换,成为数据库技术能力的一大挑战。腾讯云TDSQL PG融合版的推出,正是针对这一挑战的一次重要突破。
▴腾讯云数据库产品总监 王云龙
腾讯云数据库产品总监王云龙在演讲中表示,TDSQL PG融合版不仅实现了行存和列存、TP和AP的三大融合,更在兼容性和性能上取得了显著提升。其全面兼容Oracle和PG双模式,Oracle兼容性提升至85%以上,确保了应用代码的平滑迁移。同时,新框架的引入让OLTP性能提升高达25倍,TPC-H和TPC-DS性能也大幅提升,展现了卓越的性能表现。
在深度去O场景中,面对复杂的业务逻辑和庞大的数据量,TDSQL PG通过CBO优化器、SPM执行计划管理和启发式规则等技术手段,有效解决了执行计划不准、性能波动等问题。SPM的引入,更是为优化器提供了一种自动管理执行计划的预防机制,确保数据库始终使用最优的执行计划。
这一系列的创新不仅提升了TDSQL PG自身的技术能力,更为国产数据库的广泛应用铺平了道路。未来,随着数据库技术的持续演进,我们有理由相信,国产数据库将在更多领域实现替代,成为支撑国家信息化建设的重要力量。深度去O的攻坚过程虽然充满挑战,但正是这些挑战,不断推动着数据库技术能力的提升和行业的进步。
运维优化:降低金融核心业务中断风险
在金融行业,监管要求严格,业务连续性和系统稳定性至关重要。随着国产化进程的加速,银行核心系统的国产化成为客户和厂商共同面临的重大挑战。海量数据副总工佟长胜在分享中,深入探讨了金融核心系统国产化的稳定性保障方案,从产品选型、设计、测试到运维,全方位展示了海量数据的实践。
▴海量数据副总工 佟长胜
佟长胜指出,金融核心系统不仅要求数据库产品具备高性能和稳定性,还需要考虑系统架构设计、运维流程、应急响应等多个方面。海量数据推出的Vastbase数据库产品,凭借其高可用性、高可靠性和强大的兼容性,成为金融核心系统国产化的理想选择。同时,海量数据提供的全方位服务体系,包括规划咨询、系统优化、健康检查、异构数据库迁移等专项服务,为金融客户提供了强有力的支持。
在运维方面,海量数据强调了变更管理、应急响应和性能监控的重要性。通过精细化的变更管理流程、完备的应急预案和实时的性能监控系统,海量数据帮助金融客户有效降低了业务中断的风险,提升了系统的稳定性和运行效率。
海量数据,凭借着在服务方面多年的积累加上自主可控的数据库Vastbase G100,实现运维交付和产品一体化,交付驱动产品,打造金融核心系统0故障解决方案。
此外,佟长胜还分享了以往Oracle运维经验中可复用的部分,并强调了运维团队建设的重要性。他建议金融客户在推进核心系统国产化的过程中,注重培养专业的运维团队,提升团队的技术能力和应急响应能力。
“NoSQL数据库技术实践”专场
在“NoSQL数据库技术实践”专场上,华为云NoSQL数据库资深架构师胡亚凡进行了华为云GeminiDB数据库的架构创新与技术突破的深度分享。
▴华为云NoSQL数据库资深架构师 胡亚凡
GeminiDB是国内第一款基于存算分离架构的NoSQL数据库,提供键值(兼容Redis)、宽表(兼容Cassandra/DynamoDB/HBase)、时序(兼容InfluxDB)等流行引擎接口。目前已经部署了全球23个区域,66个可用区,服务覆盖超2000+大型客户,广泛应用于金融、政府、电信、互联网等行业。GeminiDB “存算分离”和“多模扩展”的架构设计,具备多模生态、高可用、极致弹性,稳定可靠四大核心优势。
GeminiDB企业级特性实现了从数据存储、处理到查询的全面优化,满足了不同业务场景下的高性能要求,同时降低了整体运营成本,解决特定行业难题。
第一,GeminiDB Redis 接口替代传统的 MySQL + Cache 方案,可以简化业务架构,节约开发成本,并且广泛应用在数据离散度高的业务场景中(如排行榜,k线图等)。
第二,GeminiDB T+0 车联网融合架构,支持上百万辆车同时的写入,实现查询响应毫秒级返回,同时成功降本30%,解决了车联网行业面临的业务数据“写入难”、“使用难”、“实时性差”的难题。
第三,TP+X ,GeminiDB 围绕 TP 数据进行了多模融合实践,全自动内存加速(DBCache)可以提升业务开发效率,解决“缓存击穿”问题;自动数据归档(DBLog)能够解决“TP数据膨胀”问题,为在线库减压瘦身;一体化查询和搜索(DBSearch)提升 GeminiDB 检索效率,增强 DBLog 能力。
第四,离线大批量数据快速导入(FastLoad)解决特征数据入库慢,为实时决策提供数据支持,提速可达 5 倍。
GeminiDB出色的企业级特性,让其在RTA广告、游戏、手机APP、车联网等行业得到广泛应用。以某游戏行业头部公司为例,为降低业务高峰期游戏卡顿、延迟,打造用户实时在线通畅的体验感,该客户将业务平滑迁移到 GeminiDB 上,实现系统性能5倍的提升,轻松应对20倍的业务高峰变化,有效支撑千万级玩家同时在线。此外,GeminiDB还助力某教育行业头部企业实现后台管理系统业务全链路优化,支撑多家头部媒体客户 RTA 广告业务的快速上线,满足广告主实时个性化的投放需求,在竞价中减少资金浪费。
至此,第十五届中国数据库技术大会(DTCC2024)完美落幕,历经十多年的积累与沉淀,如今的DTCC已然成为国内数据库领域的技术风向标,见证了整个行业的发展与演变。
最后,让我们相约明年2025中国数据库技术大会!