技术开发 频道

大牛首聚DTCC:分享数据治理应用案例

  【IT168 评论】2015第六届中国数据库技术大会(DTCC)于2015年4月16日-18日在北京新云南皇冠假日酒店震撼登场。大会吸引了来自五湖四海的IT精英,2500人规模的大会座无虚席,现场人员爆满。大会三天来,以“大数据价值探索与技术发现”的主题持续升温,数据如此重要,该如何治理它呢?跟随皮皮一起来看看大会第三天专场16《数据治理与可视化》吧!

  半个世纪以来,随着计算机技术全面融入社会生活,信息爆炸已经积累到了一个开始引发变革的程度。它不仅使世界充斥着比以往更多的信息,而且其增长速度也在加快。信息爆炸的学科如天文学和基因学,创造出了“大数据”这个概念。同时,信息的价值得到充分的发掘,企业运用数据创造了更大,更多的价值。因此,数据被业界公认为是企业的最宝贵资产之一。

  纷繁多样的数据不断在产生,如何使数据变成企业的数据资产,数据资产通常被认为必须具备可控制、可量化、可变现的特性。作为数据资产管理框架的核心职能,大家对数据治理知多少?皮皮先为大家抛砖引玉下!

  按照最初计划,“火星奥德赛”还有一个飞船同伴,即已知的“2001火星观测者”登陆器,但是1999年火星气候轨道器和火星极地登陆者”号探测器失灵后,美国宇航局取消了该任务。

  那么背后到底是什么原因呢?元数据不一致惹的祸!因为火星气候探测者号上的飞行系统软件使用公制单位牛顿计算推进器动力,而地面人员输入的方向校正量和推进器参数则使用英制单位磅力,导致探测器进入大气层的高度有误,最终瓦解碎裂。

  数据治理与管理领域专家刘晨为我们带来了《数据治理的理论、实践与发展趋势》主题演讲,在他的演讲内容中,我们将更深入地了解迷局。我们再来看一个数字,根据数据质量专家Larry English的统计,截至2010年,不良数据质量为122家知名机构带来的财务损失总计$1, 212,374,479,000。

  如此巨大的损失让我们再也不能小看不良数据的治理了。2015年4月,美国华盛顿,EDW企业数据世界论坛。178个演讲主题中,有30个演讲以数据治理为主要内容,数据治理是参会者最为关心的内容。

  数据在创新;算法在创新;应用也在创新。我们不禁会问,以往的数据管理思路,能适应新形势的要求吗?相信在刘晨的演讲中,大家可以找到答案。

  如何看待数据治理的技术工具?刘晨表示,数据治理不急于买或者建工具。如果数据治理没有做过或没有做好,买/建工具都是浪费。工具是把已经做的事情提高效率。不要把数据治理项目变成产品选型项目。

  那谈到大数据治理,离不开4V,社交数据,机器数据等,大数据需要与内容相关的元数据,需与传统数据定义标准保持一致;术语字典应包含大数据的术语;需要为非结构化数据提供分类、语义支持;Hadoop、NoSQL数据库的技术元数据需要纳入元数据存储库管理。

  在2015中国数据库技术大会的演讲上,刘晨为我们列举了几个行业的案例。对银行业而言,主要是外部监管和审计对于数据治理的刚性需求及银行内部风险、经营及绩效管理的内在需求。对通信行业而言,主要是面向市场和客户的数据分析需求、BI和数据仓库建设提升了对数据治理、保障数据质量的要求。而对电网、石油石化、矿业等能源行业,企业业务应用集成如ERP、CRM等系统集成要求数据标准化和质量提升;集团型企业各业务对下属单位基于数据的纵向管控。企业内部经营和绩效管理的数据分析需求、BI和数据仓库建设。

  接下来,皮皮重点和大家介绍的是浙江移动的数据治理计划,浙江移动信息技术部-技术保障部数据库架构师郭岳现身2015中国数据库技术大会的《数据治理与可视化》专场,他指出,浙江移动IT域数据治理以数据架构为突破点,数据架构幅射技术架构和应用架构,重新掌握IT系统核心能力。

  浙江移动的数据资产是如何管理的呢?郭岳表示,根据企业架构框架理论以及国际上对数据资产管理经验为指引,结合浙江移动业务支撑自身系统业务特点,我们对数据资产管理体系相关职能进行细化补充和裁剪合并,形成浙江移动数据资产管理体系。浙江移动数据资产管理体系大致分为三个层面:数据架构规划、数据架构设计以及数据架构运营。

  “重掌核心能力”是浙江移动IT域数据资产管理的重点。以数据资产管理以及TOGAF企业架构体系为指导,浙江移动通过以数据架构管控为中心,打开核心系统黑盒,解耦核心数据架构,籍此幅射应用架构;进而进一步主导数据架构、应用架构和技术架构的演进,摆脱现有的束缚,让局方重新取得核心能力掌控。

  DT域作为浙江移动需要新建的增量系统,浙江移动要从上至下建设数据规划、数据设计和数据运营能力,从系统建设的开始就完全掌握数据架构的核心能力。

 结合浙江移动IT核心系统现状,浙江移动2014年度数据治理工作将重点围绕数据生命周期管理、数据模型管理两个方面展开。除此以外还针对特定核心业务流程进行数据流向梳理,着重于揭示业务流程、应用以及数据模型三者之间的联系,展现数据资产所形成的数据流如何实现业务流程,提升开发和维护质量,提升系统核心掌控能力。

  按数据治理总体规划,浙江移动2014年数据治理项目的工作重点集中于数据生命周期管理以及物理模型梳理两部分。第一阶段以理现状、建体系、优架构入手,阶段性成果如下:

  皮皮在这里给大家展示下浙江移动在IT域核心系统的数据架构现状吧!浙江移动在现状梳理进展方面,共分析27套库1G以上的表近3000余张(占数据库使用空间的97%以上)的数据生命周期保存策略,有近千张表存在生命周期保存策略问题,占总数的50%左右。

  在物理模型梳理进展方面,完成营业、账务、计费系统的物理模型梳理,其中有问题的疑似垃圾对象占总数50%左右 。

  浙江移动计划通过两年的努力,结合DAMA理论指导,在IT域建设完成浙江移动自己的数据资产管理体系。

  说完了数据治理,我们再来看看数据的可视化,其实皮皮不想卖关子了,因为再多言语都是苍白的,我来晒晒阿里巴巴数据平台可视化工程师周宁奕带来的《基于地图的可视化》精彩演讲。


  要知道,世界上并不是只有Google在生产地图。

    作为国内数据库与大数据领域最大规模的技术盛宴,来自BAT、360、京东、美团、58同城、Ebay、新浪、网易、搜狐、易车网、去哪儿网、携程网等互联网企业,微软、南大通用等数据库厂商、以及北京大学等学术机构等百余名顶尖专家现身演讲,为大家奉献了极为宝贵的干货演讲。在2015中国数据库技术大会上,现场展台人员爆满,来自微软、百度、星环科技、宝存科技、云和恩墨、听云、永洪BI、Greeliant、Action Technology、巨杉数据库、联想、慧科、云智慧等厂商强力加盟,大会现场有互联网家庭机器人展台,现场参会的朋友有机会与机器人互动,同时,大会现场还安排了填调查赢取奖品互动环节。更多惊喜,尽在2015中国数据库技术大会现场。更多大会资讯,请查看专题大会报道专题:http://www.it168.com/redian/DTCC2015/#m07

1
相关文章