【IT168 访谈】2020年12月21日~12月23日,由 IT168 旗下 ITPUB 企业社区平台主办的第十一届中国数据库技术大会(DTCC2020)在北京隆重召开。PingCAP 数据库内核研发工程师韦万以《使用TiDB列存引擎进行实时数据分析》为主题进行了精彩的议题分享,并在议题分享后接受了IT168小编的采访,以下是采访实录:
PingCAP 数据库内核研发工程师 韦万
IT168:韦老师您好,很高兴有机会采访到您,首先请您简单介绍下自己以及负责和关注的领域。
韦万:大家好,我来自 PingCAP,是一名数据库内核研发工程师。目前主要负责 TiDB 的实时分析方向存储侧的研发工作,关注数据库、高性能计算和分布式系统等技术方向。
IT168:数据库内核研发在大家看来似乎是份很神秘的工作,内核工程师每天的工作内容有哪些?一名合格的内核工程师都有哪些门槛和要求?
韦万:其实工作内容和其它程序员没有太大区别,涉及技术调研,需求分析,编码实现,测试调优等各个方面。由于是做基础软件的,我们重视产品功能的竞争力的同时,对质量更加注重。比如我们的方案评审相对更严格,新功能和 bug fix 方案,需要确保其它同学,包括社区成员都能充分理解。要达到这个程度,需要研发人员提供详实的数据,以及完整的决策链路,充分听取其它人的建议,最终说服大家,达成一致才会动手去做。这看起来费时费力,但却可以让产品的设计保持在一个正确的路径上。
如果你是一名希望进入这个行业的新人,那么扎实的 CS 基础,以及对数据库的热爱,足以让你在数据库研发领域起步。TiDB 作为一个流行的数据库开源项目,有丰富的技术资源和活跃的社区,并且有很多适合新手的任务帮助你快速成长。
IT168:本届DTCC以“架构革新 高效可控”为主题,您对此有何理解?请结合这些年数据库技术架构的演变,谈谈您对这个主题的见解。
韦万:我们现在处于一个快速革新的时代,一个技术升级的时代。从单机到分布式,从本地到云端,从稳态到敏态等等。它对传统数据库厂商和新势力来说都是巨大的机遇,未来的赢家一定是把握住了这次技术升级的红利。
目前 TiDB 在国内外互联网头部公司得到广泛的应用,造就了成熟的产品和领先的应用场景,顶级的开源社区吸引了全球的研发人才,在这个基础上相信会诞生领先的数据库产品。随着企业数字化转型的不断升级,事实上现在已经到了一个拐点,中国数据库厂商将迎来新一波的高速发展机遇。
IT168:TiDB作为贵司的主打产品,近来都进行了哪些产品的升级迭代和技术的创新?这些升级能够对用户业务的提升有哪些积极意义?
韦万:所有的需求最终一定是来自用户需求的。TiDB 的策略是和社区和用户紧密结合,共同成长,从而获得更高的加速度。
引入 TiFlash 增强 OLAP 能力,让 TiDB 成为真正的 HTAP 数据库;我们支持了悲观锁,优化高频事务冲突的场景;优化分布式事务的二阶段提交降低延迟,并支持 Clustered Index,让 TiDB 更能胜任金融场景的苛刻要求;支持云上 DBaaS 模式,让 TiDB 在云上使用成本降到最低。未来,随着 TiDB 的生态持续扩大,它的迭代速度会更快。
IT168:您本次DTCC的演讲题目是《使用TiDB列存引擎进行实时数据分析》,通过该议题分享能够给听众带来哪些启发和思考?TiFlash作为TiDB 新版发布的高性能列存引擎,其产品主要特点和优势有哪些?
韦万:通过合理的设计,我们可以扩展单个数据库的边界。TiDB 通过引入 TiFlash,拥有了和其它分析型数据库一样甚至更强大的 OLAP 能力,即同时拥有了金融核心级别的 OLTP 能力和对实时数据进行快速分析的 OLAP 能力。同时 OLTP 和 OLAP 又能保证隔离效果,互不影响。用户可以大大的简化他们的技术栈,这样的体验对于业务开发者来说是非常友好的,并且可以降低企业的成本。
IT168:纵观全球数据库市场,您认为目前国内数据库市场和国际市场相比存在哪些差异化?相比之下国内数据库产品有哪些优势,又有哪些需要借鉴之处?
韦万:我认为国内企业对于数据库的要求,已经普遍比国际市场更高了。在中国头部的金融与互联网用户的业务场景中,产生了海量规模的数据,最高的 TPS 需求,最低的延迟要求,最复杂的场景锤炼,以及配上较差的付费习惯,活脱脱一个 Hell 模式。在这种环境下走出来的产品,必定已经包含了成为世界级数据库产品的基因。
在产品策略上,作为国内的同业者作为数据库领域的追赶者,可以更关注如何利用新场景、新技术、新平台的机遇。Snowflake 就是一个非常好的学习对象,它利用云平台的优势,重新发明了数据库仓库。
IT168:请您做一下简单的预测,您认为未来数据库市场将会发生怎样的转变,未来数据库平台的发展趋势是怎样的?
韦万:我认为未来数据库平台的发展趋势主要有以下几点:
●云原生是大趋势,拥有云基因,充分利用云基础设施的数据库将赢得未来;
●开源将成为基础软件包括数据库的重要甚至主要的产品形态;
●垂直领域数据库将长期存在并越发繁荣,直到新技术的出现,将它们统一起来。
IT168:贵司在今年11月份刚刚完成2.7亿美元的D轮融资,并表示本轮融资将用于分布式数据库关键核心技术的研发,未来对通用分布式数据库TiDB有哪些升级规划?
韦万:我们会进一步强化 TiDB 产品,扩大性能和稳定性的领先优势,把覆盖范围内的功能点做透;会持续进行架构升级,以更好支撑本地以及云上两种部署模式;让 TiDB 变得更易理解,更易使用,能稳定支持更多场景。