技术开发 频道

平安集团DBA侯松:数据质量管理实践

  【IT168 专稿】2013年4月18-20日,第四届中国数据库技术大会(DTCC 2013)在北京福朋喜来登酒店拉开序幕。在为期三天的会议中,大会将围绕大数据应用、数据架构、数据管理(数据治理)、传统数据库软件等技术领域展开深入探讨,并将邀请一批国内顶尖的技术专家来进行分享。本届大会将在保留数据库软件应用实践这一传统主题的基础上,向大数据、数据结构、数据治理与分析、商业智能等领域进行拓展,以满足于广大从业人士和行业用户的迫切需要。

  自2010年以来,国内领先的IT专业网站IT168联合旗下ITPUB、ChinaUnix技术社区已经连续举办了三届数据库技术大会,每届大会超过千人规模,云集了国内技术水平最高的数据架构师、DBA、数据库开发工程师、研发总监、IT经理等,是目前国内最受欢迎的数据库技术盛会。

数据质量管理实践
点击进入第四届中国数据库技术大会(DTCC 2013)报道专题

  在4月20日(大会第三天)下午的主题演讲中,来自平安集团DBA上海分组经理侯松先生,为我们分享了关于《数据质量管理——金融行业实践》的相关话题,其中主要提到了数据架构设计、优化成本控制以及规范审计实现等内容。

数据质量管理实践
平安集团DBA上海分组经理侯松

  设计为始

  数据库建模是大家经常讨论的一个话题,在本次演讲中,侯松先生也特别提到了数据库建模。其中主要谈到了六点,包括(1)核心数据库建模;(2)元数据、在线业务数据、历史数据分隔表空间;(3)业务元数据抽取;(4)在线业务数据分类;(5)在线业务数据和历史数据赋,予生命戳保证细粒度数据质量;(6)子系统库参照核心库建模。

数据质量管理实践
规范审计实现

  同时,侯松先生也提到了数据迁移相关的话题。侯松先生表示,核心库和子系统库通过GoldenGate完成数据交互替代原始ETL方式,而数据剥离则要注意以下几点,包括助归档管理平台感知应用模型、建立数据归档模型、制定剥离策略、监控剥离过程并控制负载、将剥离信息写入归档元数据库,以及封装包完成在线回收空间。

  历史数据归档

  借助归档管理平台分离历史数据;

  历史数据表空间离线;

  迁移到归档数据库;

  将归档信息写入归档元数据库。

  规范审计

  数据接触可以归总为三个维度:DBA日常维护、程序代码开发、数据结构变更。而数据质量的审计维度可以接触跟踪为主线,进行必要的审计和控制。

数据质量管理实践
数据库建模

  我们制定一套有行业和企业特色的数据治理规范,并工具化保证严格执行。治理规范从三个维度控制,特别是反映DDL的建模规范、反映DML的开发规范。

  文档化建模规范,根据规范文档生成相关规则集,并注入到DBAUDIT工具。DBAUDIT工具贯彻开发、测试、上线三个阶段。开发测试阶段,违规项和整改建议将返回再次开发或者申请例外处理;上线阶段,生成当月绩效报告,分析讨论后反馈KPI绩效报告。

数据质量管理实践
层级部署

  优点

  1.自主研发,个性化定制,直接反映现实情况;

  2.适用性强,每个规则和建议都是经验的沉淀;

  3.避免第三方工具的个性差异的尴尬;

  4.实现了数据生命周期为主线的数据质量管理。

  缺点

  1.工具开发和维护的长期人力成本较高;

  2.严格的流程控制可能引起开发周期的延长。

0
相关文章