Komprise调查显示:Lakehouse的采用速度超过非结构化数据集成
企业数据平台正在不断扩展,但企业多年来积累的文件却未能跟上这一步伐。Komprise 的一项最新调查发现,仅有4%的组织为其70%以上的非结构化文件数据创建了模式,并使其可供Lakehouse和分析团队访问。迄今为止,甚至只有24%的组织完成了超过一半的工作。
这些企业并非数据平台或AI领域的初学者。近半数企业使用Microsoft Fabric,67%的企业表示其AI项目已达到成熟或正在成熟阶段。然而,其中大部分信息仍然难以利用。
为撰写这份报告,Komprise于9月对500名技术决策者进行了调查,受访者均来自员工人数至少为1000人的企业。
其中许多企业已经采用了Lakehouse。微软Fabric以49%的占比最为普及,其次是谷歌BigQuery(32%)、亚马逊Redshift(28%)、Databricks(27%)和Snowflake(22%)。平均而言,每家组织使用约1.6个平台。但部署这些系统是一回事。将分散在不同存储系统和云端的海量文件数据导入其中则是另一回事。
问题在于,这些文件数据大多未以Lakehouse易于利用的方式进行组织。与数据库中的结构化数据不同,文件通常缺乏识别其内容并使其可供分析所需的模式。
那么,企业如何在不移动海量数据的情况下使其可访问呢?对于46%的受访者而言,能够直接在数据原地进行查询非常重要。另有34%的受访者虽将其视为优先事项,但更优先考虑先搭建好GPU计算和存储基础设施。Komprise指出,Apache Iceberg表是一种可能的解决方案,它允许团队访问文件的元数据,而无需将整个数据集迁移到Lakehouse中。
更广泛的AI就绪问题
在AI方面,情况也好不到哪里去。仅有7%的受访者表示,他们已对超过70%的非结构化文件数据进行了清理、分类和预处理。另有57%的受访者表示,其准备就绪的数据占比不超过一半。而13%的受访者甚至不确定已准备就绪的数据量有多少。换言之,93%的受访者尚未达到70%的门槛。
我们知道,并不缺乏需要处理的数据。毕竟,企业多年来积累了大量的合同、研究文档、图片、视频、电子邮件和档案,这些数据往往分散在多个系统中。
拥有如此多的数据不是问题,真正的问题在于如何确定哪些数据真正有用。有多少数据是重复的,或者单纯过时的?哪些数据从一开始就不应该提供给AI ?
调查显示,近半数受访者(49%)表示,查找正确数据并清理冗余、过时和无关紧要的文件是一大挑战。另有42%的受访者指出元数据提取和丰富是主要障碍,41%的受访者提到了治理与合规问题,而37%的受访者则苦于甚至无法明确掌握自己拥有哪些数据以及这些数据存储在何处。
此外,企业究竟对自身文件了解多少也是一个问题。仅凭文件名、创建日期或所有者,很难了解文件的具体内容。据Komprise称,企业需要更丰富的元数据来描述内容本身,从而能够为AI找到并利用正确的信息。当然,Komprise销售的正是为此设计的软件,因此我们必须考虑到这种立场倾向。不过,这一根本问题对企业数据团队来说并不陌生。
信心领先于成果
AI成熟度评分与数据准备呈现出截然不同的情况。48%的受访者认为其项目正在走向成熟,20%认为已达到成熟阶段,21%处于部门级应用阶段,11%则处于不成熟阶段。报告指出89%的受访者已做好AI应用准备,尽管其中也包括仍在不同部门使用相关工具的团队。报告将“成熟”或“正在走向成熟”的总比例定为67%。
可量化的回报则较为罕见。客户服务领域占比最高,38%的受访者表示AI投资回报率(ROI)可量化,而员工生产力和决策速度的占比均为28%。营收增长和运营成本节约的占比分别达到26%和21%。在这五项指标中,平均值为28%。报告指出,这些成熟度评估均为企业自报,并未辅以详细的评分体系。
执行数据揭示了企业的下一步行动。40%的企业已部署或计划部署全企业范围的连接器和分类机制,以防止敏感文件被AI处理。另有29%的企业表示正在过滤过时信息,并针对特定用途筛选文件。剩余的31%企业仍在制定策略,允许用户自主选择共享内容,或完全跳过单独的分类环节。
该报告援引了Gartner关于2026年全球AI支出将达2.59万亿美元的预测,以及BCG的估算——AI支出占企业收入的比例将从2025年的0.8%升至1.7%。报告还引用了Gartner的研究结果,显示63%的企业缺乏AI数据管理实践或对此不确定。这些预算或许能用于购买更多工具和计算能力,但仅凭这些,并不能告诉企业其文件共享中究竟隐藏着什么。
来自 “ https://www.hpcwire.com/bigdatawire/2026/10/15/kom ”