技术开发 频道

厚德载物 解读腾讯在线交易统一数据层

        【IT168大会报道】2013年4月18-20日,第四届中国数据库技术大会(DTCC 2013)在北京福朋喜来登酒店拉开序幕。在为期三天的会议中,大会将围绕大数据应用、数据架构、数据管理(数据治理)、传统数据库软件等技术领域展开深入探讨,并将邀请一批国内顶尖的技术专家来进行分享。本届大会将在保留数据库软件应用实践这一传统主题的基础上,向大数据、数据结构、数据治理与分析、商业智能等领域进行拓展,以满足于广大从业人士和行业用户的迫切需要。

  自2010年以来,国内领先的IT专业网站IT168联合旗下ITPUB、ChinaUnix技术社区已经连续举办了三届数据库技术大会,每届大会超过千人规模,云集了国内技术水平最高的数据架构师、DBA、数据库开发工程师、研发总监、IT经理等,是目前国内最受欢迎的数据库技术盛会。

厚德载物 解读腾讯在线交易统一数据层
大会精彩专题

厚德载物 解读腾讯在线交易统一数据层
▲腾讯公司高级软件工程师 雷海林

  本次数据库大会,由来腾讯公司高级软件工程师 雷海林为我们带来的《厚德载物腾讯在线交易平台统一数据层》的精彩演讲,演讲中雷海林从业务介绍,之后层次演进分析了腾讯的在线交易平台的架构过程。

  厚德载物总体架构思想

  根据腾讯的业务,厚德载物总架构要求:1、具有数据一致性,记录版本号保证最终一致性,解决冲突;2、要求数据安全,用表把不同的数据隔离,对表进行鉴权;3、具有数据恢复功能,镜像/binlog/DB ;4、具有容灾功能,同时可以实现跨IDC容灾、跨城容灾。5、具有扩容功能,不停止服务前提下、保证数据无损。

厚德载物 解读腾讯在线交易统一数据层
▲总体架构

  通过上图的总体架构,可以分为以下几层:

  控制层:

  配置下发、状态监控、容灾流程控制、扩容流程控制、名字服务、状态数据展示

  接入层:

  路由计算、数据分发、权限校验、流量控制

  存储层:

  A、逻辑层:角色管理、binlog同步、主备同步、黑名单控制

  B、Cache层:单纯的读写操作、高性能

  落地层:

  把内存中的数据通过镜像和binlog的方式做持久化存储,同时可以根据数据分析的需要,把数同据导入DB

厚德载物 解读腾讯在线交易统一数据层

  在一个网络架构中,我们需要容灾切换,对于容灾的检测可以使用正常弧形检测,让每个CloudStore除了上报自己的状况外,还会上报同Set另外一个CloudStore的情况。然后通过孤岛判定,让只有CloudKeeper通过两个CloudStore都无法获得健康的状态后才会判定该CloudStore已经形成孤岛,之后再启动切换流程。

厚德载物 解读腾讯在线交易统一数据层

  通过对容灾切换的检测之后,我们就可以进入切换流程,然而容灾技术是系统的高可用性技术的一个组成部分,我们在切换过程中还是要加强调处理外界环境对系统的影响,特别是灾难性事件对整个IT节点的影响,提供节点级别的系统恢复功能。

厚德载物 解读腾讯在线交易统一数据层

  通过我们的一系列的设置,但是我们还是需要自动扩容功能,因为在这样的服务体系下,任何企业建立容灾响应机制,不仅获得了产品的支持,更重要的是得到了真正的容灾服务,减轻了灾难恢复的巨大负载,提升了管理水平,使得应急响应团队可以有序和轻松地掌控灾难恢复的进度,保证灾难恢复的恢复可靠性,确保不同应用系统恢复的有序和联动。

  最后雷海林表示“在未来存储引擎,可能会选择LevelDB、MySQL(SSD、fusion io),这样会具有标准化的集群管理、标准化配置、完善的运维前台管理、丰富的监控数据展示。”

1
相关文章