【IT168大会报道】2013年4月18-20日,第四届中国数据库技术大会(DTCC 2013)在北京福朋喜来登酒店拉开序幕。在为期三天的会议中,大会将围绕大数据应用、数据架构、数据管理(数据治理)、传统数据库软件等技术领域展开深入探讨,并将邀请一批国内顶尖的技术专家来进行分享。本届大会将在保留数据库软件应用实践这一传统主题的基础上,向大数据、数据结构、数据治理与分析、商业智能等领域进行拓展,以满足于广大从业人士和行业用户的迫切需要。
自2010年以来,国内领先的IT专业网站IT168联合旗下ITPUB、ChinaUnix技术社区已经连续举办了三届数据库技术大会,每届大会超过千人规模,云集了国内技术水平最高的数据架构师、DBA、数据库开发工程师、研发总监、IT经理等,是目前国内最受欢迎的数据库技术盛会。
本次数据库大会,由来腾讯公司高级软件工程师 雷海林为我们带来的《厚德载物腾讯在线交易平台统一数据层》的精彩演讲,演讲中雷海林从业务介绍,之后层次演进分析了腾讯的在线交易平台的架构过程。
厚德载物总体架构思想
根据腾讯的业务,厚德载物总架构要求:1、具有数据一致性,记录版本号保证最终一致性,解决冲突;2、要求数据安全,用表把不同的数据隔离,对表进行鉴权;3、具有数据恢复功能,镜像/binlog/DB ;4、具有容灾功能,同时可以实现跨IDC容灾、跨城容灾。5、具有扩容功能,不停止服务前提下、保证数据无损。
通过上图的总体架构,可以分为以下几层:
控制层:
配置下发、状态监控、容灾流程控制、扩容流程控制、名字服务、状态数据展示
接入层:
路由计算、数据分发、权限校验、流量控制
存储层:
A、逻辑层:角色管理、binlog同步、主备同步、黑名单控制
B、Cache层:单纯的读写操作、高性能
落地层:
把内存中的数据通过镜像和binlog的方式做持久化存储,同时可以根据数据分析的需要,把数同据导入DB
在一个网络架构中,我们需要容灾切换,对于容灾的检测可以使用正常弧形检测,让每个CloudStore除了上报自己的状况外,还会上报同Set另外一个CloudStore的情况。然后通过孤岛判定,让只有CloudKeeper通过两个CloudStore都无法获得健康的状态后才会判定该CloudStore已经形成孤岛,之后再启动切换流程。
通过对容灾切换的检测之后,我们就可以进入切换流程,然而容灾技术是系统的高可用性技术的一个组成部分,我们在切换过程中还是要加强调处理外界环境对系统的影响,特别是灾难性事件对整个IT节点的影响,提供节点级别的系统恢复功能。
通过我们的一系列的设置,但是我们还是需要自动扩容功能,因为在这样的服务体系下,任何企业建立容灾响应机制,不仅获得了产品的支持,更重要的是得到了真正的容灾服务,减轻了灾难恢复的巨大负载,提升了管理水平,使得应急响应团队可以有序和轻松地掌控灾难恢复的进度,保证灾难恢复的恢复可靠性,确保不同应用系统恢复的有序和联动。
最后雷海林表示“在未来存储引擎,可能会选择LevelDB、MySQL(SSD、fusion io),这样会具有标准化的集群管理、标准化配置、完善的运维前台管理、丰富的监控数据展示。”