数据库 频道

报告指出数据质量问题正在影响公司业绩

如果你的数据仓库开始变得像郝薇香小姐的破旧豪宅,你可能有数据质量问题。

来自开源数据质量工具Great Expectations对500名数据专业人员的一项新调查显示,77%受访者表示有数据质量问题,91%的人指出数据质量问题正在影响公司的业绩。只有11%受访者表示没有与数据质量相关的问题。

“糟糕的数据质量和管道债务造成利益相关者之间的组织摩擦,导致信心下降等后果,”Superconductive公司的首席执行官兼联合创始人Abe Gong说。“这项调查清楚地表明,数据质量问题很普遍,它们正在损害业务成果。”

作为数据治理和管理的一个组成部分,数据质量是对数据集的整体完整性的衡量,目标是一致性。在Great Expectations最近的一篇博文中,作者Sam Bail列出了数据质量的六个方面。

  • 准确性。数据是否准确地反映了现实?

  • 完备性。用例所需的所有数据都是可用的吗?

  • 独特性。数据是否存在不必要的重复?

  • 一致性。数据是否没有冲突的信息?

  • 时效性。对于所需的使用情况,数据是否足够新?

  • 有效性。数据是否符合预期的格式?

该公司指出,不符合这些特性的数据会给企业带来问题,比如使其“难以看到最终用户或服务的'单一视图',降低生产力,模糊可靠的性能指标,并使开发团队和预算因数据迁移任务而不堪重负”

根据调查,数据从业者表示,低质量的数据导致缺乏文档(31%),缺乏工具(27%),以及团队之间缺乏理解(22%)。太多的时间被花在数据准备上,导致生产和分析团队出现重大延误。

此外,研究发现,不到一半的受访者表示对自己公司的数据高度信任,13%的人表示他们对公司的数据信任度较低。这些缺乏信任的专业人士将其归咎于破碎的应用程序或仪表板,基于不可靠数据做出的糟糕决策,对指标缺乏共同理解,以及数据分散在不同的地方,这可能会导致不同团队之间的冲突与不和。

数据质量计划可以提供帮助,它们通常从全面评估数据的当前状态开始。有了这些信息,公司可以定义和应用某些规则,或期望,以解决数据质量的差异,然后继续监测整个组织的系统和管道。在接受调查的人中,89%的人说公司领导支持他们的数据质量工作,52%的人认为他们的领导对数据质量的重要性有高度的信任。该研究提到,数据质量工作包括制定数据质量计划和预算(22%),使用特定的数据质量工具(19%),手动检查数据(14%),以及建立自己的系统(15%)。

Great Expectations称自己是一个 “通过数据测试、文档和剖析击败管道债务的开源工具”,其使命是“彻底改变数据协作的速度和完整性”。该公司在今年2月筹集了4000万美元的B轮融资,计划加强开源版本,并开发一个付费的Great Expectations云版本,其中包括一套管理数据质量的协作编排工具。

“数据质量对于促进整个组织有信心地做出决策至关重要,使人们能够更好理解这些数据的含义和用途。这就是为什么一个组织的每个层面都应该支持数据质量工作,从数据科学家和工程师到对决策结果有信心的C-suite和董事会,”Gong说。

0
相关文章