数据库 频道

长文|对话苏光牛:数据库从自主迈向可信的关键转变

  在中国数据库市场,GaussDB一直是备受关注的存在,近年来,疫情影响导致交流受限,反而让GaussDB的最新进展更令人期待。

  2023年8月16日,2023中国数据库技术大会(DTCC2023)在北京开幕,在这个行业盛会上,华为云数据库服务产品部总经理苏光牛发表了题为《打造最可信数据库,华为云GaussDB给世界一个更优选择》的主题演讲。这场演讲掀开了数据库领域的一系列话题,为中国数据库未来发展注入新的思考动能。

  会后,老鱼专访了苏光牛,针对演讲中所涉及的多个话题展开深入探讨。比如:什么是可信性?为何对出海至关重要?如何确保数据库的可信性?数据库自主研发的挑战?数据库市场的竞争格局将如何演进?小型厂商如何在激烈的市场竞争中找到自己的发展路径等等,这些问题将在采访中一一被探究。

  本文结构速览:

  1、软件世界,“可信”是基础

  2、可信数据库构建之路

  3、中国数据库面临挑战与创新策略

  4、附:观点集锦

  软件世界,“可信”是基础

  苏光牛在本次大会演讲中强调了数据库在软件创新和发展中的关键地位,以及可信在此过程中的至关重要性。

  在他的观点中,可信是所有创新和可持续性发展的基础。过去十年,像苹果、特斯拉等公司的成功已经充分证明了“软件吞噬一切”,而随着云服务的兴起,数字化转型将从软件吞噬世界演变为云吞噬世界,突显出软件服务的核心地位。

  然而,无论是在软件还是云服务时代,数据库始终是关键的技术基础,承上启下。因此,数据库如果不可信可能导致灾难性后果。而开源软件的不可控性和外部环境的变化使可信变得尤为重要。

  类似古希腊神话中英雄阿喀琉斯的脚跟弱点,软件领域的无序开发和不受控成为当今的“阿喀琉斯之踵”。第三方报告显示,全球四分之一组织曾遭受与公共云安全相关的事件,开源软件广泛使用,但缺乏供应链透明度使得其容易受到恶意篡改和攻击,这阻碍了产业的发展。

  面对外部环境的挑战,华为公司于四年前提出“规则”应对不确定性。在2019年,公司内部发布了IPD可信框架与方法,通过技术和管理措施确保产品具备韧性、安全性、隐私性、可靠性、可用性等六大特征,为客户提供可信的高质量产品。

  苏光牛呼吁中国软件开发者从自主研发转向软件可信开发过程。在软件自主阶段,重点是代码自主研发率,而在可信阶段,则需要关注是否基于可信框架进行需求分析、设计、测试验证等,确保软件生命周期各环节的可信。

  可信数据库构建之路

  在此次大会的分享中,苏光牛深度解密了华为在软件工程领域的可信性探索,从全栈可信定义、构建可信过程框架,到透明开发过程和端到端可追溯性。这种探索突显了可信与高质量、责任之间的紧密关系,并将这一理念应用于华为的产品之中,其中就包括备受关注的 GaussDB。

  早在2001年,华为开始着手数据库的研发,涵盖嵌入式数据库、内存数据库、分析型数据库、交易型数据库等多个领域,为华为通信业务提供坚实支撑。

  值得注意的是,在 2019 年发布的华为 IPD 可信框架和方法的同年,GaussDB也正式登场。一方面,它满足了华为内部业务连续性的需求,同时还肩负起金融、关基等多个行业对数据库创新的重要使命。近年来,大量银行、保险、证券、能源等行业核心业务系统已经成功迁移到GaussDB上。

  众所周知,软件和应用的开发效率严重依赖于开发工具,数据库也不例外。然而,主流的开发语言、工具和平台往往由美国公司主导,如JavaScript、Github等。为了应对供应链风险,华为自主研发了软件开发流水线,涵盖从项目管理、IDE、代码开发到部署等全生命周期能力,GaussDB的诞生便是在这一自主创新、可信性保障的流程下完成的。

  为确保产品质量,华为建立了一套全面的测试防护网,从构建一个 6 环 9 层 33 步的测试防护网,覆盖绝大部分代码和场景,到拥有 20 万个测试用例的全链路交互测试平台,显著的降低了基本问题,还在实现高质量的同时,逐步消减了低概率、复杂交互类的问题。据了解,在未来,这个数字还将增加到80万。

  GaussDB正是在这样的坚持和努力下,走出了一条可信数据库之路。

  中国数据库面临挑战与创新策略

  在可信软件工程方法论指导下,华为成功打造了一款具备“五高两易”特点的GaussDB数据库,即高可用、高安全、高性能、高弹性、高智能,以及易部署易迁移。这一成果在应对各种挑战时表现出色,为数据库领域带来了创新的解决方案和技术思路。

  高可用方面,传统双数据中心架构存在RPO不为零、扩展性弱等问题。而华为与工商银行联创合作,推出了国内首个双集群强一致性方案,通过同城两个数据中心部署两套独立的数据库软件,实现了完全隔离的架构,支持版本升级和应用灰度升级,确保业务在主中心升级时无中断地切换至备中心,实现了全天候的稳定服务。对于容灾等级要求较低的系统,华为云还提供了更经济实惠的解决方案,满足不同客户需求。

  高性能方面,GaussDB在底层深度优化,解决了传统数据库因"四把锁"而带来的性能问题。通过创新的B-Link协议,避免了索引根节点的页面锁,采用堆表结构,降低了页面结构变化的概率,从而在高并发环境下取得了显著的性能提升。此外,采用逻辑时钟CSN,消除了事务锁带来的扩展性问题,为大规模节点下的处理性能提供了巨大的提升。

  高安全方面,GaussDB引入全密态方案,使得数据在整个生命周期中始终以密文形式存在,用户持有数据的加解密密钥,确保数据隐私安全。相较于传统的单点存储加密,这一方案更加安全,避免了管理员恶意获取密钥解密所带来的潜在风险,从而有效保护了企业数据。

  高智能方面,GaussDB提供了一系列智能工具,使得应用开发和数据库运维更加可信。通过SQL Audit工具,系统可以自动审核SQL是否符合规范,降低了系统出现亚健康状态的风险。另外,DBMind工具提供了慢SQL根因分析、索引推荐和异常检测等功能,为DBA提供了强大的运维支持。

  易迁移方面,GaussDB提供了全面的迁移解决方案,让原本不确定的迁移过程变得可信且可计划。借助UGO,用户可以准确评估工作量并制定计划;DRS则实现了在线、零中断的数据迁移,并通过校验对比功能确保数据的完整性;而流量回放技术则解决了普通测试无法准确反映业务性能的问题。

  根据最新的IDC报告,华为数据库在中国关系型数据库市场本地部署中位居国产数据库首位,并且连续六次获得第一。此外,根据Gartner的报告,华为云被评选为全球优先获得云数据库管理系统"客户之选"的云厂商,客户满意度和推荐度高达98%。

  未来,GaussDB将持续引入领先技术和创新,致力于成为企业核心应用云化的可信数据底座。

  附:精彩观点

  会后,苏光牛接受了老鱼的采访,并发表了一系列精彩观点,深刻剖析了中国数据库产业的现状与前景。以下是他的观点集锦:

  自主可控与合规性:走向国际市场的必要条件

  未来发展要面向海外市场,苏光牛提醒自主可控和合规性是数据库产品走向国际市场的必要条件。数据库开发者应关注可信软件开发过程,确保产品在合规性和安全性方面不受限制,避免因开源软件合规问题而限制产品的国际拓展以及很多潜在的不确定性,而这些不确定性实际上隐含着巨大的风险。

  中国数据库技术成熟度:不再依赖国外开源项目

  苏光牛认为,中国数据库行业已经走到了不再需要过多参照国外开源项目的阶段。他指出,中国主流数据库已经实现了技术的自主创新,不用再局限于简单的封装和优化,而是发展出了自己的特色和能力。

  自研能力挑战:交易型数据库需要更大内核研发人才规模

  数据库开发是一项底层技术,需要大量的数据库内核人才和相应的研发体量。他认为,特别是对于交易型数据库,想要打造数据库内核的厂商,少于几百人的体量短期内可以获得一些订单,但交易数据库说是技术,更多是一种信任,一种对未来的信任。

  定力与机制:数据库厂商的支撑要素

  苏光牛强调,中国数据库厂商需要具备强大的定力和合适的机制。他认为,这涉及到足够的人才、适当的激励机制以及责任和义务传递体系,特别是责任,选择了一个数据库,实际上是客户相信厂商具备长期的定力、投入以及能承担起风险和责任,才能够长期支撑数据库产品的发展。

  交易型数据库挑战:仍然巨大

  在交易型数据库领域,苏光牛认为当前的挑战仍然巨大,没有哪个数据库厂商可以轻松应对。他强调,解决这些挑战需要时间和持续的努力,而将注意力集中在数据库内核的稳定性、可用性以及数据的一致性上才是当前的关键。由于当前太卷,所以很多选型关注了一些次要的因素,实际上对于客户上线后的考量是不利的。

  市场规模与增长空间:中国数据库市场前景乐观

  苏光牛看好中国数据库市场的未来潜力。他认为,尽管数据库市场未来有很大的比例,肯定被云厂商吃掉了,这点是毫无疑问的。但在传统行业的混合云部署仍然存在大量商机,因此商业空间仍然广阔。他预测,未来中国数据库市场的规模将超过100亿美元。

  他还认为,未来中国数据库市场将逐渐趋于两到三家主要厂商,但小型厂商也有存活空间,重要的是寻找自己的特色和发展路径。是基于MySQL、基于PostgreSQL,或者说自己从一行行代码写出来的(就是捂住自己的眼睛不去看别人的)都不重要。重要的是:能否具备长期演进的能力,遇到MySQL的问题、遇到PostgreSQL的问题,能否修复还是必须等待社区的补丁而告诉客户“我们采取维护的手段和工具去绕开这个BUG吧,一段时间后社区就会出补丁啦”。一个BUG可以绕,如果是10个BUG呢;TP业务的托付相当于是一生的托付,技术要完全掌握在自己手里。当然人人都可以宣称掌握在自己手里,那就只能“等海水退潮之后看到底谁是裸游啦”。

特别提醒:本网信息来自于互联网,目的在于传递更多信息,并不代表本网赞同其观点。其原创性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,并请自行核实相关内容。本站不承担此类作品侵权行为的直接责任及连带责任。如若本网有任何内容侵犯您的权益,请及时联系我们,本站将会在24小时内处理完毕。
0
相关文章