数据库 频道

数据中台包含哪些数据产品?

  一、数据中台在企业数字化转型中的价值

  1. 数据整合与管理:数据中台能够对企业内部和外部的数据进行整合和管理,形成一个统一的数据平台。这有助于消除数据孤岛,提高数据的质量和一致性,为企业的决策和运营提供全面、准确的数据支持。

  2. 数据服务化:数据中台将数据以服务的形式提供给业务部门,使得数据更加易于获取和使用。这降低了业务部门使用数据的门槛,提高了数据的利用率和价值。

  3. 数据驱动决策:通过数据中台,企业可以更加便捷地进行数据分析和挖掘,发现数据中的规律和趋势,为企业的决策提供数据支持。这有助于提高企业的决策效率和准确性,降低决策风险。

  4. 促进业务创新:数据中台为企业提供了丰富的数据资源和强大的数据处理能力,有助于企业发现新的业务机会和创新点,推动企业的业务创新和发展。

  二、数据中台需要包含的核心模块

  1. 数据仓库:用于存储和管理企业的大量数据,提供高效的数据查询和分析功能。

  2. 数据湖:一种大型、集中式存储库,可以存储任意规模的所有结构化和非结构化数据。

  3. 数据集成工具:用于将不同来源的数据进行整合和清洗,确保数据的准确性和一致性。

  4. 数据分析工具:提供可视化的数据分析功能,帮助用户发现数据中的规律和趋势。

  5. 数据挖掘工具:通过算法和模型对数据进行深入挖掘,发现数据中的潜在价值和关联关系。

  6. 数据服务平台:将数据以服务的形式提供给业务部门,包括数据API、数据查询、数据推送等功能。

  三、数据中台产品架构

  图:网易数据中台产品矩阵

  数据中台的目标是:效率,成本,复用,业务数据化,数据资产化,资产业务化。降低业务创新过程所需数据的获取和使用成本,数据分析和大数据人工智能应用更便捷。很多文章里会讲,数据中台的输出是API,API即服务嘛,但一个API要更加快速高效的输出,要依赖于数据同步、数据清洗加工、资产沉淀等各个流转环节,木桶效应,任何一个部分出现短板,整体的效率都不会高。因此,我把数据中台的产品架构分为五层:

  • 数据服务层:基于数据资产、平台工具输出的分析服务、数据查询服务,可视化服务、标签、算法服务等

  • 数据资产层:包括数仓模型资产建设、数据治理、资产盘点

  • 数据加工层:基于业务逻辑进行ETL的过程,包括批、流数据的开发、调度、搬运、运维

  • 数据集成层:数据入湖第一步,把不同数据源数据同步到统一的数据仓库或数据湖

  • 基础设施层:最底层是大数据集群服务,包括存储、计算、资源调度和Hadoop生态的各个组件管理

  四、数据中台常见数据产品

  1.数据采集

  定位:提供企业内、外部数据采集解决方案,为大数据分析应用提高原始数据支持,是企业的“数据原油”,没有数据,大数据就是无源之水。

  产品模块:埋点解决方案&埋点管理平台、爬虫系统、数据填报系统

  2.组件管理

  定位:大数据组件管理平台,以配置化的流程替代人肉命令行操作、运维大数据集群及各个组件。

  产品模块:云平台、HDFS管理、Kafka管理、Hbase管理、ES管理

  3.开发套件

  定位:产品化、自动化数据采集、同步、加工到应用流程,提升数据开发效率,降低开发成本,缩短业务创新数据需求周期。

  产品模块:数据集成、离线开发平台、实时开发平台、智能运维平台、机器学习平台

  4.数据资产

  定位:沉淀数据资产,公开资产目录,助力数据共享,并依制定数据稽核规则监控数据质量,从源头保证数据准确高可用,统一权限管控,保证数据安全。

  产品模块:数据地图、数据血缘、指标系统、数据质量监控、模型建设平台、资产管理中心

  5.数据治理

  定位:治理低效或无价值的数据及任务,释放存储&计算资源,实现数据资产成本的精细化管理。

  产品模块:成本优化中心、数据安全中心

  6.分析应用

  定位:聚合和治理跨域数据以产品化形式封装数据能力,将数据应用于业务决策、产品优化、精细化运营等环节,挖掘数据价值,赋能业务。

  产品模块:

  数据分析:Adhoc查询、用户行为分析系统、自助分析、敏捷BI、数据可视化平台、智能分析平台

  产品智能:个性化推荐、用户画像与精准营销平台

  7.数据服务

  定位:基于数据中台思想,将数据快速输出API服务,同时具备服务监控及管理能力

  产品模块:API服务平台、推荐平台、智能预警&数据订阅(从人找数到数找人)

  8.通用功能

  定位:抽象各数据产品通用模块,提供统一服务能力,减少各产品重复建设,降低开发成本

  产品模块:工单系统、消息中心、帮助中心、统一权限、产品导航、需求中心

  四、小结

  对于数据中台产品,各家公司都在做很多相似的事情,作为数据产品经理的你,当前在从事哪一产品领域的工作呢?未来职业发展规划又想哪一模块的产品工作呢?希望本文可以对你有所启发。

0
相关文章