2020年12月21-23日,第十一届中国数据库技术大会在北京国际会议中心举行。天云数据受邀参展并在数据库内核专场做国产数据库Hubble产品的技术演讲,同期天云数据荣获2020数据风云奖评选之年度创新企业奖。
技术硬核,国产数据库市场的切肤之痛。
国产数据库起步晚,在信息、人才、技术等多重窘境之下,很多企业采用“拿来主义”的手段弥补国产技术的空白。以Oracle、开源的 MySQL和PostgreSQL为底座进行物理资源融合,进而实现数据同步和实例跨节点一致性等数据库集群功能。
这种方法虽然也完成了工作,但存在很大的风险。
2008年,微软黑屏事件;
2009年,Oracle并购了Sun,将MySQL归属到甲骨文的旗下;
2017年,棱镜门事件;
2018年,美国制裁中兴事件;
2019年,微软操作系统停更;
2020年,美国制裁华为;
全球信息科技领域正展开一场看不见硝烟的战争,无论谁都清楚唯有自己真正强大,才有获胜的十足把握。这就注定了数据库科技企业只有一条路可走:投身技术研发。
塔勒布在《智慧与魔咒》一书中写过一句经久不衰的话:“In science you need to understand the world; in business you need others to misunderstand it.” 当国内的数据库公司意识到国产数据库软件将成为趋势时,数量如雨后春笋般涌现,为了赢得资本市场的最大价值,开启概念先行。这无异于思想上的巨人行动上的矮子,企业资金是有保障了,但丢失的却是科技强国的根本。
成为硬核企业,一直是天云数据CEO雷涛反复跟团队强调的事情:“只有掌握了‘人无我有’的大数据技术研发能力,才能实现大数据企业发展的‘自主可控’。”
天云数据抱定的是与技术硬核“同生共荣”的心态,不盲从市场价值,踏实沉浸在技术研发的工作里。天云数据依靠计算血缘优势,直接完成了IO存储、线程调度以及代价解析等数据库开发重点。近些年,基于Raft分布式MVCC快照一致性等开放协议标准,对原创技术提出了更大的挑战,需要原创数据库能提供复合IO特性的融合计算,即HTAP混布数据库。
HTAP的概念在2014年被Gartner正式提出:同时支持OLTP和OLAP场景。
AP是数据仓库系统的主要应用,支持复杂的分析操作,侧重决策支持,并且提供直观易懂的查询结,比如用户画像。TP是传统的关系型数据库的主要应用,主要是基本的、日常的事务处理。但随着实际业务的需要,需要同时支持AP特性和TP特性的场景。例如银行交易,可能同时有几十人在办理业务,既要为客户提供精准理财产品,又要保障事务交易正常办理。
原本独立发展的两条线路,因为业务市场的需要必须融合。天云数据HTAP数据库产品hubble应市场需求而生。
天云数据凭借其多年来在大数据分布式计算领域的经验以及多家大型银行的实践最终通过引入损失函数动态评价SQL逻辑计划的执行成本、CBO代价优化解析、Sharding切片线程级别物理资源匹配不同计算负载、TP和AP双引擎调度执行、随机和序列化IO对存储的访问、依靠数据副本机制同时支持KV键值存储和列存存储交出了完美的答案。
这意味着一张表可以同时支持行存和列存,真正的融合了存储结构,避免了在交易和分析数据库间每夜ETL数据搬家的繁琐运维工作和数据冗余。
深植于场景需求混布数据库,Hubble做到了。
天云Hubble数据库在三家大型股份银行、两家互联网银行和多家城商行部署商用,替代Oracle支撑银行核心A类交易系统56种交易; 在公安领域支撑万亿记录规模的多表关联模糊查询计算。
值得一提的是,作为原创国产数据库在中国电子工业标准化技术协会信息技术应用创新工作委员会指导的全国首届信创信创产业生态大赛中获得一等奖的荣誉,这是信创产业对科技公司技术研发的最好肯定。
“技术的世界总是在不断创新,在重视研发的同时更要注重与新技术的结合应用。AI专注于算法,可以提供各种从数据中发现问题实质并根据数据做预测,这对企业有非常重要的价值。” 天云数据研发总监乔旺龙说:“接下来hubble会向AI-Native方向发展,让数据库从更快变得更智慧。”