数据库 频道

数据编织 (Data Fabric) vs 数据网格 (Data Mesh)

近来,数据管理领域的热词也是不少,从国外来的数据编织 (Data Fabric) 和数据网格 (Data Mesh) 是两个经常被提及的新话题。为了跟上新技术的步伐,我也对这俩概念做了一点功课,和大家一起探讨。

Gartner给数据编织(Data Fabric) 的定义如下:

Data Fabric is a design concept that serves as an integrated layer of data and connecting processes.

数据编织是一个设计概念,表示数据和连接进程的集成层。

Forrester给出数据网格 (Data Mesh) 的定义如下:

Data Mesh is a decentralized sociotechnical approach to share, access and manage analytical data in complex and large-scale environments within or across organizations.

数据网格是一种分散的社会技术方法,用于在组织内部或跨组织的各种复杂和大规模环境中,共享、访问和管理分析数据。

只看概念,是不是看不出啥端倪了,还是上图吧!

数据编织 (Data Fabric) 把数据从生产到利用的过程分为3个层次:

最底层是记录系统,也就是各个业务系统的数据库。

中间层是通过 ETL 等手段转移到按照数据库类型分类的各个数据库中。

最上层是一个集成层,面向用户提供数据产品,注意实际的数据是保存在中间层的。

那么数据网格呢?还是上图:

数据网格 (Data Mesh) 把数据从生产到利用的过程也是分为3个层次:

·最底层是记录系统,也就是各个业务系统的数据库。

·中间层是一个数据湖,数据在湖中做了物理集中。

·最上层是一个,额...,没有最上层? 最上层其实是基于数据湖中数据形成的数据产品。

问题来了……数据编织 (Data Fabric) 和数据网格 (Data Mesh) 的区别在哪里呢?

一个主要区别就是这个第二层,在数据编织中,数据是按数据库类型经过转换的规整数据,有点Bill Inmon理念数据仓库的意思吧,数据是处理加工过的,方便给顶层调用。而数据网格的数据是全部在数据湖中,还都是原始格式存储,有点Kimball理念数据仓库的意思吧。

有什么本质区别吗?

有的人说有,有的说没有,确实要先把“本质区别”是什么定义清楚,才好说是否有本质区别。个人感觉,就是两种不同的解决方案。中国人讲的数据中台概念,可以和他们放在一起并列,或者说各家的中台解决方案,不是数据编织,就是数据网格。

如果还有人说老外的数据编织和数据网格没有你说的那么肤浅, 我觉得他们都是主数据+数据仓库+数据中台+数据资产管理平台做一个有机的大集成,不过路径不同。

你觉得呢?欢迎留言探讨!

后续:

在翻译数据网格这个概念的时候,注意到其定义里面,用了一个单词叫Socio-technical,特意翻了词典叫社会技术系统,这个词是什么意思呢,特意查询了百度百科:

建立社会技术系统,是指为了提高组织效益而采用同时集中于技术和社会两方面的变革,使他们相互关系最佳配合的一种有计划的组织变革方法。这种方法强调组织的技术和人的因素的最佳结合,强调对完成工作的方法重新设计。它是现代组织变革活动中较为流行的方法之一 。

都说每个单位就是一个小社会,这个社会不就是要管理吗!这个定义告诉我们数据管理可不仅仅是技术,不仅仅是IT系统,要用社会的方法,建章立制,有管理办法,有管理流程,有数据管理的专门角色和团队,再辅以先进的IT系统才能把数据管理好!

者:马欢,《DMBOK数据管理知识体系(第1&2版)》、《首席数据官管理手册》等专著中文版主译者,CDMP Master。

0
相关文章