数据库 频道

Data Mesh 2.0:实现权力下放的承诺

可以说,“Data Mesh”正在风靡一时。

即使是通过谷歌新闻进行粗略搜索,也会出现数十个相关结果,而且种类繁多。当然,许多新技术进步都会出现这种情况。而且,我们都知道,即使是真正有前途的学科,也有可能会迅速夭折,而有些学科的生存状况却无法与其最初的辉煌相提并论。这是一个充满活力的领域,快速变化是其天性。不过,即使有这些注意事项,这种不断发展的架构可能还是值得关注的。

即使按照数据驱动型业务实践的正常变化水平来看,Data Mesh显然也能为有意义的变革提供真正的潜力。在我们不断向真正以数据为中心的文化迈进的过程中,在这种环境中,每项战略决策和业务运营都由通过实时分析大量原始数据而建立的可操作情报来指导,Data Mesh很可能会成为一个重要的里程碑。

问题是,走向数据驱动的道路涉及许多里程碑,就像没有一个技术解决方案可以解决一切一样。Data Mesh是一个坚实的基础,但如何将它与其他方法结合起来,以实现更大的效益?如果Data Mesh如此出色,那么Data Mesh 2.0 又会是什么样子呢?

首先,介绍一下背景。虽然Data Mesh经常被归入数据湖和数据仓库一类,但它其实并不属于这两类。数据湖和数仓等这些技术本质上是用于存储或移动数据的技术,而Data Mesh则专注于数据本身。Data Mesh这种架构能更轻松地将数据所有权分散到多个以业务为中心的领域和类似机构,而不是单一的集中式机构。这种民主化带来了许多相关优势,从跨越异构基础设施的分析到根据业务需求进行扩展。

在理想的情况下,这代表了一个非凡的愿景。在Data Mesh中,数据不再由新一代精英专家和管理者囤积,而是由业务专业人员访问,以帮助他们开展工作。这就是它的本来面目。

但更好的还在后面,去中心化架构的广泛承诺远未实现。当然,也有一些实施和倡议,但范围相对有限。Data Mesh并没有什么成功案例。

我们可以做得更好,可以从几个核心原则开始做起。

首先,需要全面理解基于域的数据所有权概念。这不仅仅是集中式权力结构的改变,它意味着数据不再属于特定的应用程序或监管这些应用程序的技术专家,而是属于业务本身。实现这一目标的最 佳途径是采用新兴技术,使数据与创建或存储数据的应用程序分离--这些解决方案现在已经面世。这是一项具有重大影响的根本性变革,需要对长期以来的最 佳实践做出重大改变。

其次,企业需要将数据作为产品来管理的能力。数据不再是复杂技术的附带产出,而是一种具体、可识别和离散的产品,可由一个或多个业务领域单独拥有和管理。更准确地说,我们所说的数据产品不是一种,而是多种,所有这些产品都是为支持分析和运营系统而创建的。这是革命性的,尽管它是我们长期以来将数据作为企业资产的愿景的又一次实现,而这种资产可以与其他更有形的资源并驾齐驱。

接下来,想象一下自助服务数据平台的好处。这是一个元数据驱动的数据浏览器,企业用户和技术人员都可以使用它来协作,如发现、访问、更改、创建甚至是创建数据,而无需创建新的孤岛。毫无疑问,数据集中是数字时代的祸根:内部存储的堆积如山的数据被存放(或者说被锁起来)在孤岛中,据称这些数据是安全的,但却是孤立的。整理来自不同系统的相关数据无疑是一件痛苦的事情。这是最基本也是最常见的问题,以至于这些数字仍然令人吃惊,但与整合相关的任务可能会耗费 IT 预算的一半。采用下一代数据平台的Data Mesh架构可以大大消除这一问题。

最后是联合计算管理问题。在一系列与安全和合规性相关的规则和法规要求加强治理的环境中,这种面向前端的解决方案能够将数据产品和业务领域所有者的治理政策嵌入数据本身。这带来了巨大的运营优势:无论最终用户如何体验数据,无论设备或其他接触点如何,无论涉及何种应用程序,也无论来自何处,权限、控制、政策和隐私都能保证保持一致。

虽然这些原则与Data Mesh方法的核心不同,但它们完全可以相辅相成。分散式架构能够实现真正的数据民主化,其诱惑力是无法抵挡的。正如现在由业务用户而不是 IT 部门决定购买什么硬件、使用什么软件以及下载哪些应用程序一样,业务线和管理人员也越来越有权力决定分析哪些数据以及开发哪些定制数据产品,以满足业务优先级的要求。

Data Mesh已经存在了足够长的时间,我们已经看到了它的好处,也认识到了Data Mesh 2.0 的必要性。毫无疑问,未来还会有更多进步。但就目前而言,这种架构的下一次迭代将使我们在以数据为中心的浩瀚之路上走得比以往任何时候都更远。

作者Karanjot Jaswal 是数据协作公司 Cinchy 的联合创始人兼首席技术官。

0