数据库 频道

数据大集中时代结束,数据治理新阶段如何释放数据价值?

  数据已经成为新的生产要素,在数字经济时代拥有巨大的魔力。伴随着数据技术不断发展,让数据驱动决策帮助企业降本增效成为各企业的战略目标,现代数据治理成为企业必修课。

  根据日前IDC发布《IDC 中国数据治理市场份额,2021:广泛落地,持续增长》报告,对于具备较好的数据资源基础的企业,普遍反映数据治理具有明显的业务价值,能够更快获得洞察、缩减成本、增加用户获取以及提高产品上市效率等。

  但是如何更好挖掘数据价值,做好数据治理,推动企业向数据驱动发展,仍然面临着一些挑战。

数据大集中时代结束

  现在企业都意识到数据的价值,不过挖掘数据价值并没有那么一帆风顺。没有治理好的大量数据不但无法产出价值,反而可能成为企业的负担。

  数据治理是一个长期动态的过程,涉及到企业组织、流程、文化以及技术应用。单从技术层面来看,经过多年的IT实践积累,企业组织已经积累了大量IT资产,可能有数据库、数据仓库、大数据平台、数据湖、湖仓一体Lakehouse、BI等等,随着数据技术日新月异发展,未来可能还会引入更多的数据技术,数据栈会不断壮大。

  为了解决海量结构化数据、半结构化数据、非结构化数据业务发展带来的新问题,数据栈随着业务壮大而不断丰富,但也为数据治理带来新的挑战。

  当前“取数难、用数难”依然是企业组织走向数据驱动的拦路虎,不能很好连通的多源异构系统也催生更多数据孤岛。

  正如IDC所说,中国数据治理市场经过几十年的发展,市场需求已经发生了重大转变。过去是面向单个数仓或者BI进行数据治理,单个主数据管理、元数据管理、数据集成工具组件就能满足需求。今天,企业内部的数据架构越来越复杂,要做好数据治理需要工程化的解决方案。

  中国系统副总裁、数据创新BU总经理刘国栋认为,国内政企从0到1的大规模数据治理工作已经基本完成,数据治理已经进入新的发展阶段。过去,企业一直在做中心化数据集成,是数据大集中时代,利用大数据以及数据湖等技术归集数据,利用湖仓一体架构(Lakehouse)将数据湖与原有分析系统数据仓库进行融合,“中心化的数据集成这件事情基本上到了一个阶段了。”

  刘国栋是数据技术领域的资深老兵,在出任中国系统副总裁、数据创新业务BU总经理之前,历任明略科技 VP、QtumWare CEO、百分点集团 VP、京东金融集团总监、Vitria世界第一代CEP产品研发负责人、Teradata新一代大型分布式数据库内核研发核心设计和研发主架构师、Intel Research Center In China从事面向视觉的搜索引擎优化和CEP(复杂事件处理机)工程师等职位,对数据架构的变迁,以及数据治理的痛点和顽疾有着深刻理解。

  为了解决“取数难、用数难”问题,未来数据也会去中心化。

“数据不动计算动”破解数据治理难题

  围绕着数据生命周期的治理难题,中国系统数据创新业务面向部委、省市政府、央企等海量大数据客户,基于5大能力打造了数据创新产品体系,以全栈式数据中台产品套件和广义数据治理及分析应用的全栈服务能力,通过数据治理工程解决方案帮助拥有海量数据的客户真正管好数据、用好数据、赋能业务创新,减少重复造轮子的问题。

  其数据基础设施中的智能金仓融合分析平台是该产品体系的核心产品,充分吸收数据技术前沿理论,如Data Fabric(数据编织)、Google Dremel、Spanner和Summingbird、CEP等,结合去中心化架构,多模数据管理、统一SQL等技术积累,可以实现数据不动,让计算去找数据,智能编排企业现有数据栈,挖掘数据价值。

  据悉,用户可以通过给定界面定义需求,智能金仓融合分析平台会通过编译技术将需求编译成指令流,指令流可以对到访数据目的地、计算、顺序等实现智能调度,然后返回结果。用户不需要知道数据在哪,也不用管数据架构的复杂性,只需要定义好需求,即可使用数据,助力数据平民化发展。

  随着《数据安全法》等与数据隐私等相关的法规条例陆续发布实施,数据合规问题成为数据流通产生价值的掣肘,中国系统数据创新产品也包含了数据安全与合规产品。“数据安全与合规平台跟我们之前了解的数据安全是完全两个概念,之前的数据安全主要是数据放到那备份以及防泄露,现在基于新的法律法规体系,这套平台和其相配套的咨询体系主要解决数据生命周期的任何一个环节里,使用数据、处理数据和管理数据的合规性。”刘国栋强调。

  中国系统充分发挥数据创新产品组合优势,在很多领域都有落地。比如在数字大理项目中,通过苍洱云、数据中枢、理政中心打包形成城市大脑,将优势能力(云+数+理)进行封装,围绕数据中台能力体系,快速构建大理州6大基础库,5大主题库,支撑全州多个典型应用场景,并使其可以快速调用。截止2021 年,中国系统数据创新产品及服务在政府、部委、央企、金融、能源等多个领域得到应用,客户覆盖全国22 个省、50 多个地市、40 余家部委央企及行业客户。

  在《IDC 中国数据治理市场份额,2021:广泛落地,持续增长》报告中,中国系统以12.8%的市场份额位列中国数据治理平台市场前二,与阿里云、腾讯云等互联网大厂齐头并跑,成为央企中一枝独秀的定位产品科技型公司服务政企数据治理的领军者。

  未来,在社会各方的推动下,数据要素市场化发展会释放更多数据价值,而数据治理将贯穿数据生命周期,“为什么说(数据)生命周期呢?它是有生命的,它是不断迭代的。”刘国栋说,“数据治理,实际上是一个常态化的事情。” 据IDC预测,2022年中国数据治理市场规模增长将远高于2021年的增长速度,中国系统数据创新业务未来可期。

1
相关文章