数据库 频道

实时打通数据孤岛有多难?Tapdata 做到了!

  数据库是 “根”技术之一,和人脑的记忆系统一样,牵一发而动全身。虽然数据库的应用系统很复杂,但因其太过重要,以至于挑战者大有人在。正是因为有大量后来者的加入,数据库市场才会百花齐放。于是,多模数据库、HTAP数据库、自治数据库……各种概念层出不穷,令人目不暇接。

  问题是,不管是数据库服务领域如何细分,数据库技术及架构如何演进,最终都没有从根本上解决数据孤岛问题,再加上云上云下环境的复杂性,数据库的处理能力始终无法突破瓶颈。

  “数据孤岛”是传统数据库无法逾越的鸿沟

  在传统IT架构下,ERP、OA、CRM……每个系统都是独立的,并且各个系统之间,很有可能会相互竞争,重复建设,不同架构之间具有天然的层级。数据库一般也是单体式数据库,性能无法扩展,需求量增加的时候,往往需要分库。如何从根本上解决数据孤岛问题? 一些聪明的人,已经走在应用创新的前列,做着各种各样的尝试,但似乎没有找到更有效的方法!

  首先,数据库种类繁多,无法统一源数据。由于数据库种类繁多,排得上名的数据库就有300多个,主流的数据库有数十种,这意味着企业多源异构数据库模式将长期存在。为了统一数据源,企业一般会采用几种方式缝缝补补,一种是通过ETL进行人肉手工,或者通过消息中间件的形式进行大量开发。这种传统的开发模式,耗时费力,70%~90%的时间消耗在数据准备上,对于新业务来说,上线慢,影响业务反应速度。

  其次,传统的数据仓库进行分布式架构改革,价格昂贵。为了建立中央化数据平台,企业会考虑进行MPP分布式架构调整,但这种方式要进行大量的需求分析,要想支持核心业务的全面可视化,会遭遇可扩展性挑战,不能支撑海量并发;即便能扩展,设计和研发成本也大得惊人。

  其三,建立可扩展的开放架构,组件多,落地难。这几年,大数据平台、数据湖、数据中台等概念火热,虽然这类架构可扩展性强,可以海纳百川,但很容易因为大而全,最后难以落地。

  所以,对于DBA、CDO、数据及应用架构师来说,很多时候都是无力状态,不知道从何处入手。

  打造面向TP 业务的实时数据服务平台

  大体来看,数据库的应用类型不外乎两种,一种是支持TP 型业务,另一种是支持AP 型业务。比如,买机票的机票预定系统、租房的房屋租赁平台,都属于TP 型业务;而哪些航线最热、哪些房源最畅销,则属于AP 型业务。当然,除了TP 和AP ,还有一种应用类型也值得推荐,即HTAP 混合型事务能力。比如:很多云原生数据库,就在主打HTAP。但主流趋势是,TP 仍然是当前数据库的核心业务,也是很多传统关系型数据库的主要应用。

  通常,TP 型业务要求数据响应速度更快,一般是毫秒级,而AP 型业务则是数秒及分钟级;TP型业务并发查询量也偏高,一般数百到数十万不等,而AP 型业务并发量则相对较小,一般是个位数或者最多数十个。TP 型业务的存储方案也非常多,包括 Oracle、MySQL、SQLServer、PostgreSQL、DB2、MongoDB、Elastic、Redis 等等。如果按照等比例划分,TP型业务数据场景占据数据库市场份额的80%。那么,既然TP型业务如此重要,为什么我们在市场上看到的都是AP型的数据平台?难道TP型数据平台是个伪需求?答案是,传统的TP型业务缺乏能统一管理数据的平台,要想从根本上解决数据孤岛问题,必须基于现代业务环境和技术重新开发一个平台!

  新时代的TP 型业务平台,应该具备满足处理一切数据的能力,即我们常说的 “DaaS” 数据即服务,用户能拥有一致性的访问体验,不管是本地还是云端,用户都能按需部署,快速扩缩容。这也是Tapdata 为什么要以DaaS(数据即服务)为核心,推出实时数据服务,并通过数据虚拟化,从而打通数据孤岛的最根本原因。

  DaaS 架构为异构数据库的多样性和复杂性而生

  DaaS 介于PaaS 和SaaS 之间,能通过统一的接口和语义,为用户提供统一数据访问层。基于 DaaS 架构理念的 Tapdata 实时数据服务平台主推面向TP 型业务或场景,但其实平台本身也支持AP。Tapdata 最大的特征是,能隐藏企业多元异构数据库的多样性和复杂性,同时通过面向领域的数据模型、数据虚拟化和分布式数据库存储,构建统一数据服务能力。对于用户来说,采用Tapdata DaaS 架构,能加速业务系统快速上线目标,并且能提供完整、实时的数据给前端业务,尤其对于有着主数据管理、数据采集同步、实时数仓需求的企业来说,DaaS 架构能打破原有平台的各种性能问题,实现架构上的更新迭代。

  Tapdata 成立于2019年,从时间上来看,还只是一家创业公司,但却已名声在外。目前,Tapdata 已经和中国移动、周生生、中国一汽、TCL、南方电网、富邦银行等很多客户在进行合作,并在今年7月完成数千万美元 PreA 及PreA+两轮融资,分别由五源资本独家领投及XVC及德联资本联合领投。

  Tapdata 之所以获得如此快速的发展,除了产品、技术的前瞻性和稀缺性,还有一个关键因素,那就是创始人唐建法(TJ)不凡的个人背景与强大的团队阵容。TJ 曾是 MongoDB 大中华区首席架构师、MongoDB 中文社区创始人,拥有20+ 年数据库领域经验和技术积累,公司的早期员工来自MongoDB、Oracle、百度、阿里、腾讯等。如果说 MongoDB 让 TJ 走向了成功,那么 Tapdata 就是他人生价值的二次飞跃。正如 Tapdata 品牌名称所寓意的那样,TJ 正在做一件非常有意义的事:Make Your Data on Tap ,让数据使用如同拧开自来水龙头一样简单、便捷。

  Tapdata 开启数据库现代化之旅

  虽然,Tapdata 要做的事看上去很简单,只是作为数据准备层提供用户所需的实时数据。但要想真正实现 DaaS 架构,需要解决超乎想象的技术难题。比如:实时数据同步的可靠性、反向更新问题,还要考虑各种异构库的同步问题等。

  为了助力更多企业开启数据库现代化之旅,Tapdata 在核心技术架构上,没有使用主流的类似Flink或者Kafka这样的大数据技术,而采用了自研路线,通过数据虚拟化的方式,让用户无需关心底层的物理存在,而是直接使用服务。相比传统的联邦查询方式,基于同步的虚拟化对技术要求更高,容错性更低,毕竟需要对各种底层实现完全不同的数据库进行事务级别的日志解析,忠实还原并在亚秒级延迟下重放到 DaaS 平台。这个架构没有捷径,Tapdata 经过大量的实战研发,并且在不断优化实现和算法的基础上,形成了技术壁垒,能够安全可靠的将源系统数据无需其他ETL工具,就可以实时镜像到 DaaS 平台,并提供准确的数据服务。

  如此一来,用户无需再做多种存储方案,解决元数据、搜索、缓存、队列等问题,只使用Tapdata 基于分布式数据库MongoDB 加上自研的数据计算中间件组成的实时 DaaS 产品方案,就拥有了一个架构简单,部署轻量,低成本和上手快的 DaaS 平台,可为业务应用及大部分数仓、大数据平台和中台建设提供最完整、统一、准确的实时源数据。

  如今,Tapdata 已覆盖了80%-90%的业务场景,DaaS 架构成为名副其实的面向TP业务的实时数据平台底层。为了加快实时 DaaS 架构的普及,Tapdata 通过云上开放的方式( http://cloud.tapdata.net ) ,将异构数据库实时同步能力免费提供给社区使用,Tapdata Cloud 可以独立完成多达十几种数据库的异构数据同步能力,为新业务扩展,缓存加速, 全文检索,数据库备份容灾等很多新型业务场景提供生产级的支撑。虽然还没有正式推向市场,但凭借其强大的异构数据处理能力,已经吸引了诸多DBA、CDO、数据及应用架构师的高度关注。

  Tapdata 明确表示,在获得本次数千万美元的融资后,接下来的目标是:更大力度地孵化客户,提高市场接受度。根据TJ 本人多年来的行业经验,认为开源是一个有效模式!而在开源之前,Tapdata Cloud 可以让用户有个过渡期。Tapdata Cloud 是Tapdata 的云化版本,用户无需关注底层的服务器、网络、计算、存储等IT基础设施,可开箱即用,并且是免费使用。目前,Tapdata Cloud 还只是 Tapdata 产品的一小部分功能,未来会将 DaaS 上的所有能力迁移上云。

  同时,随着Tapdata 的快速发展和技术研发需要,Tapdata 发起了技术人才招募计划,包括高级中间件研发工程师(Java)、高级数据库研发工程师(C++)、高级产品经理等职位,推荐各位技术大咖择良木而栖,共同开启数据库现代化之旅。

9
相关文章