数据库 频道

实现数据平民化,No ETL是否大有可为?

随着数字化转型不断深入,企业逐步走向数据驱动,从数字化管理变为数智化运营,需要实现更精细化的管理,数字化的需求由之前的面向结果、管理者,变为面向过程和全员,用数需求、用数人群和数据源同时爆炸性增长。在数智化运营方面,有众多团队和员工从事运营相关的角色和动作,这导致用数需求是动态的且复杂多变。

一方面是用数需求的增长,提倡数据平权,实现数据平民化,这就需要降低数据分析的门槛,随时随地可以灵活的取数用数。另一方面企业在数字化过程中,不断引入如数据仓库、数据湖、流计算、Lakehouse等新的数据技术,数据栈变得臃肿而复杂,数据流水线越来越长,过去ETL驱动的传统数据工程,已经无法满足随时取数用数的新需求。

Aloudata CEO周卫林指出,随着数据需求的快速增长,ETL作业数量将会呈指数级增长,可以说需求在快速增加,而且是无止境的。ETL驱动下的数据工程架构,整条数据链路的各个环节都依赖于ETL工程师的参与,依赖于ETL排期。但ETL工程师数量却有其限制,而且ETL工程师的能力有上限。在实际工作场景中,多达80%的数据需求无法满足,而被满足的那20%的数据需求,从提出需求到需求交付的时间至少以周计,所以现有的ETL工程体系是不可持续的。

Aloudata提出了“NoETL”(无ETL)的模式,旨在寻找一种不再依赖于传统ETL工程师驱动的方法,从而实现数据生产力的可持续和大规模增长,通过 ETL 工程体系的自动化与智能化,重构数据生产力。

周卫林总结了NoETL的四个特点:去管道,无需关心数据位置;免运维,无需操心任务运维;自优化,无需担心查询性能;主动元数据,ETL Copilot。

12月15日,Aloudata发布了三款产品Aloudata AIR、Aloudata CAN和Aloudata BIG,依托数据虚拟化引擎、数据语义引擎、主动元数据引擎三项核心技术,带来全新的数据集成方案、全新的数据交互界面和全新的数据管理模式,开启NoETL新时代。这三大技术能力是 Aloudata 产品体系的基石,帮助企业实现需求满足周期由月/周降至日/小时,存算成本降低 50% 以上,并掌握高效数据治理的“主动权”。

其中,Aloudata AIR是基于Data Fabric架构的逻辑数据平台。实现了多源异构数据的虚拟化集成,无需物理搬运数据。此外,Aloudata AIR还通过自动化链路编排和智能查询下推技术,实现了自适应的查询加速,从而提高了处理效率。就像电商的前置仓,提高了物流的效率。

Aloudata BIG是一个拥有算子级血缘解析能力的主动元数据平台。常见的表级血缘无法穿透合并的Hub表,当上游变更时,无法精准定位下游的影响范围,只能当作所有下游表全部被影响来处理,带来大量的协同变更工作量。通过算子级血缘解析,看清楚线上SQL代码逻辑,从而实现真正实时、精准的数据理解和更高效的数据治理。

Aloudata CAN是一个自动化指标平台。用户在这里定义指标,定义完成后,系统自动进行指标开发。这意味着,定义即生产,定义即服务,无需额外的开发和发布工作。解决了传统指标口径不一致和难以复用的问题。

Data Fabric是近两年数据技术领域的热门新概念,Data Fabric作为一种在数据栈不断变得复杂、数据孤岛不断增长的情况下通过逻辑化手段实现分布式管理数据的架构理念越来越受欢迎。在今年5月份的连续三周内,IBM、HPE、微软三巨头争相布局Data Fabric+Lakehouse,先后发布新的Data Fabric产品,或更新现有的Data Fabric产品。

Forrester将Data Fabric定义为是一种智能和安全的并且是自服务的方式,动态地协调分布式的数据源,跨数据平台地提供集成和可信赖的数据,支持广泛的不同应用的分析和使用场景。

Gartner将Data Fabric定义为一种新兴的数据管理设计理念,可实现跨异构数据源的增强数据集成和共享,通过对现有的、可发现和可推断的元数据资产进行持续分析,来支持数据系统跨平台(包括混合云和多云)的设计、部署和使用,从而实现灵活的数据交付。

“NoETL与Data Fabric的理念确实是在解决同样的问题,并且在解决思路上走到了一起。”Aloudata CPO 肖裕洪指出,无论是Gartner还是Forrester,都在强调一点,即如何解决跨系统、跨平台的大量分散数据,以什么样的交互方式交付给数据消费者。他觉得Data Fabric应该是无论数据存放在哪里,无论其格式如何,当你需要时,系统都能够在正确的时间向正确的人提供正确的(即质量有保障的)数据。

经过多年的数字化建设,企业都积累了很多IT资产,逐步积累了相对完善的数据栈。“我们设计的NoETL模式可以充分利用企业现有的数据湖、数据仓库和其他数据源,盘活全部数据资产,实现平滑升级,而不是完全重构。”周卫林强调,实现NoETL,数据的采集、清晰、转化、加载等数据流水线的业务流程不会变化,并不是不需要ETL工程师,而是可以让更多的流程实现自动化,把ETL工程师从繁重而重复的工作中解放出来,去做更有价值的事情。

自2021年成立以来,过去两年半的时间,Aloudata与灯塔客户一起打磨、验证了技术与产品。

比如招商银行,使用了Aloudata的三款产品(Aloudata AIR、BIG和 CAN),以实现数据平民化。招商银行总行商业智能平台负责人张军军介绍,随着敏捷 BI 模式得到广泛推广,业务需求的灵活性给数据模型带来了空间和时间复杂度的挑战,主要表现在报表查询和自助分析的响应速度、总分机构之间的数据交付效率、数据同步和共享时的语义一致性等方面。

为应对这些挑战,招商银行携手 Aloudata 探索了一种全新的敏捷用数解决方案:通过逻辑数据准备与智能物化加速,实现业务分析师的自助用数,并推动了数据资产层的进一步沉淀和充分复用。未来,招商银行将进一步推动数据分析从自助分析向智能分析演进,不仅让用户更高效地利用数据,还能通过智能化手段洞察数据规律,获得更深入的业务见解。

目前,Aloudata提供的解决方案得到了许多大型头部企业的认可,特别是在金融行业(股份制银行、头部城商行)和大型国央企中,越来越多的企业开始探索实践NoETL。“我们的使命不仅仅是为了解决人才短缺的问题,而是更彻底地改变数据的生产方式。我们的目标是实现数据的随时就绪性——无论何时,只要业务需要,相关的数据就能立即被调取和使用。”周卫林说。

0
相关文章