技术开发 频道

"按医嘱"进行数据质量管理

    【IT168技术评论】医生常常告诫我们:"预防是最好的药物!"。对数据质量管理,这句话也是应该严格遵守的至理名言。越早发现潜在的数据问题,越有可能以较小的成本,较快的速度处理这些问题。在商业系统的应用管理方面,这也是数据质量管理的基本要求。

    预防性的数据质量管理似乎是个无可辩驳的真理,但是,非常多的数据仓库和商业智能项目团队并没有在计划中体现数据质量管理的问题。如果问到"为什么在项目中没有数据质量管理的计划?"时,通常得到的回答则是,"数据质量是源系统的问题"。从某些层面上看,这是个事实,让数据仓库或商业智能团队向最终用户提供精确的数据有点吹毛求疵。

1. 数据质量管理的建议
    数据质量管理如此重要。那么提供数据质量的解决方案,就需要回答一个问题,数据质量管理应该体现在数据仓库/商业智能项目计划中的那些部分呢?答案是:将数据质量管理有机的集成到项目的每个阶段中,从需求到设计、一直到产品。一点具体的建议如下:
 将数据质量度量作为业务需求收集和计划排程的一部分。从业务的角度,需要定义数据质量和它们的量度。一个小的Tips, 如果尚有无法进行度量的数据质量问题,暂时不要把他们放到当前的计划中。

 从业务的角度思考、并决定,如何在开发和Operational过程中进行数据质量问题管理。首先,从业务的角度定义需要监控和修复问题的优先级。同时,也最重要的是,从资源、时间、和成本的角度同业务需求方在成本上达成一致 - - 较高的数据质量需求,需要付出更高的成本。

 运用已有共识的质量度量,从数据起源到数据消费,在整个过程中监控数据的质量。这包括所有的数据抽取、转换和加载过程,并一直到用于报表和BI环境中的数据存储,包括:数据仓库、ODS、Data Marts、Cubes和Data Shadows Systems. 我们需要能够在数据流的所有阶段,直到这些数据在报表和分析中消费的整个过程中来监控数据的质量。

 创建数据质量管理仪表盘监控数据质量。这能够帮助业务和IT人员充分了解当前的数据质量并采取恰当的行动。数据质量仪表盘需要包括数据质量的趋势报告,辅助分析数据质量的发展趋势- -正在变好,还是变的更糟。数据质量告警也能够帮助采取更加主动的方式进行纠正。不要等待业务人员发现那些错误的数字已经被用在了重要的决定中。

    数据仓库和BI中数据质量活动不要 "事后诸葛亮"。但是,如果你还没来得急遵循这些关于数据质量的建议,你也并不孤独。许多的公司仍然还在争论数据质量管理的问题。最好的行动是解决目前面临的数据质量问题,来避免用漫长的、痛苦的治疗过程。
0
相关文章