登录 / 注册
IT168技术开发频道
IT168首页 > 技术开发 > 技术开发资讯 > 正文

章晨曦:数据分发平台的架构设计与实践

2016-10-29 16:48    it168网站原创  作者: 杨璐 编辑: 杨璐

  【IT168 现场报道】2016年10月27日-29日,2016中国系统架构师大会(SACC 2016)在北京万达索菲特大饭店举行。作为中国规模最大的架构师豪门盛会,本届大会以“架构创新之路”为主题,站在创新的风口上,与大家共同打造一场通过架构创新及各种IT新技术来带动企业转型增效,助力架构师们腾飞的技术盛会。

  大会云集了国内外顶尖专家,共同探讨云计算和大数据等技术背景下,如何通过架构创新及各种IT新技术来带动企业转型增效。本届大会共设置两个主场分享时段,24个技术交流专场时段;邀请来自互联网、电子商务、金融、电信、政府、行业协会等20多个领域,150多位技术专家及行业领袖来分享他们的经验;并将吸引4000多名系统运维、架构师、及各种企业的IT决策人士参会,为他们提供最具价值的交流平台。

  在29日上午的数据库平台架构及变迁(下)分会场,信泰人寿技术支持室经理章晨曦为大家来带了精彩的分享。

章晨曦:数据分发平台的架构设计与实践

  章晨曦,网名ThinkJ,Oracle 10g OCM,中国南方ORACLE用户组(CN`SOUG)创始人之一。曾在世界知名的大型咨询企业-凯捷咨询(Capgemini)担任J2EE开发工程师,后转入DBA团队,作为高级数据库工程师管理世界大型银行——德意志银行的实时在线交易系统的Oracle数据库,数据量接近100TB。现为某国内保险公司技术负责人。曾多次在西湖技术峰会、ORACLE亚太社区领导人峰会上发表过演讲。

  章老师在演讲中这样说:通过这几天的观察发现,来这里分享的有不少互联网公司,而传统企业为数不多。实际上,在传统行业还是有不少的好的实践,并且传统企业也应该多学习互联网行业的理念,把自己成功的推销出去。

  在数据平台的建设中,数据分发往往是被容易忽视的一个环节,但实际实践中,此环节很容易成为整个项目的绊脚石。谈到今天的演讲主题,章老师从需求上展现了分享原因,即企业所希望的:

  *对原有的系统影响较小或无影响

  *实现及管理较容易

  *提升数据流向的清晰度

  *降低系统间的耦合度

  *提升整体系统的性能  

章晨曦:数据分发平台的架构设计与实践

  讲到系统建设原则,章晨曦老师表示:要有较高的可用性、数据准确性要高、容易管理和监控、能集成到大数据平台中。对于仍以结构化数据为主的传统保险行业来说,采用GoldenGate来打造一个数据分发解决方案,是不错的选择。如何保证这个数据分发平台的高可用?

  *自动重启Extract或Replicat进程

  *在网络不稳定或网络短暂中断后特别有用但是要注意需要保证Manager进程正常运行

  章晨曦老师还强调了GoldenGate运行的重要文件:Checkpoint File和Trail File。而集群文件系统则采用ACFS用来安装GoldenGate软件。采用ACFS 主要是免费,需要11.2以上版本,它是通用的文件系统 而且还是比较稳定的。自动故障切换(Grid Infrastructure)可以配置GoldeGate VIP,实现故障转移可以自己写脚本,不是那么难,把原有的信息清除掉就可以了。

  分发平台的高可用归纳成下图,采用节点方式,按照官方最佳实践,形成这样一个中间屏的架构,原有的数据库把TARIL分发到中间分发平台,从中间分发平台把数据抓出来再进行分发到下面。  

章晨曦:数据分发平台的架构设计与实践

  这样的存在的问题,实施比较繁琐,而且比较容易出错;容易导致错误积累;容易导致数据延迟。在运用到中间库的一个过程,有很多数据库同时汇聚,这时就容易形成一个瓶颈,运用有延迟导致了数据延迟。

  因此,章晨曦老师提到了轻量化架构。轻量化架构的优点:不会导致错误积累、数据延迟更小、双向复制更加容易实现。

章晨曦:数据分发平台的架构设计与实践

  金融行业对数据的准确性要求非常高,如何保证数据准确性,GoldenGate的不足由Veridata来补足:基于J2EE的B/S架构、数据校验在内存中完成、数据会先取到Veridata服务器上在进行校验运算、对数据库压力较小、可以进行数据修复。

  最后,谈到大数据平台集成,章晨曦老师说一些技术在传统的金融行业内部一直都在尝试,但是未涉及到核心业务还是比较边缘,也在慢慢尝试。

章晨曦:数据分发平台的架构设计与实践

  ▲更多信息尽在IT168现场报道专题

标签: SACC
相关文章
  • IT168企业级IT168企业级
  • IT168文库IT168文库

扫码送文库金币

实时热点
编辑推荐
系统架构师大会
系统架构师大会
点击或扫描关注
IT168企业级微信关注送礼
IT168企业级微信关注送礼
扫描关注
首页 评论 返回顶部