技术开发 频道

创客沙龙回顾:电商企业数据库运维管理

  【IT168 评论】互联网时代下,电商的兴起,给人们提供了方便快捷的网购平台,与此同时,面对海量的订单,千万级的数据,电商的运维也进入一个新的时期,数据库的管理和维护工作成了电商企业的重中之重。

  2016年4月9日,IT168旗下【创客168】在长林咖啡书屋举办了“电商企业数据库运维管理”沙龙,虽然当天下午的天气已然达到了炎夏的感觉,但依然阻挡不了现场的火爆场面!这次活动特别邀请了京东高级研发工程师许海华,当当网DBA赵钢,美团网高级DBA陈海峰三位技术杠杠的老师,为广大的电商企业开发者、DBA等技术人员分析讨论这类企业数据库自动化、数据库备份、数据库调优等等…

创客168沙龙:电商企业数据库运维管理
▲现场扫码签到

  虽然还没有到开始时间,很多的同学都已经早早来到了现场,只求一座!所以小编很是佩服大家的学习精神。这还仅仅只是开场前的一个画面。在活动还没开始之前,两位大神已经开始了探讨!

创客168沙龙:电商企业数据库运维管理
▲大神之间的探讨~

  第一位带来分享的是京东的许海华老师,他带来【京东分布式数据库的探索与实践】。许老师先从业务背景讲起:电商数据量巨大,单机MySQL难以支撑;多维度数据的这种情况;完成京东内部去O任务,节省Oracle授权费用等几个点做了介绍。精华的部分是Jproxy原理,讲到京东客户端如何实现后台数据库表的拆分,也说到弊端——增加业务复杂度、开发维护成本、无法进行关联查询等。

创客168沙龙:电商企业数据库运维管理
▲京东高级研发工程师 许海华

创客168沙龙:电商企业数据库运维管理
▲京东私有云数据库

  说到Jproxy的特性,两点:1、路由规则按照long类型分区、string类型分区、时间类型分区;2、jtransfer无缝迁移,预分片,不需要重新hash。

创客168沙龙:电商企业数据库运维管理

    业务方前端链接支持MySQL协议,业务方原有技术方案不需变更,后端链接MySQL使用MySQL协议,提高效率。

  接着,一个案例分享详细的说明了路由规则按照long类型分区、string类型分区、时间类型分区;jtransfer无缝迁移,预分片,不需要重新hash。最后谈到了所面临的技术难题:对分布式事务的支持及垮库SQL操作。相信在场的同学收获颇丰。看他们这么专注,可想而知咯…

创客168沙龙:电商企业数据库运维管理

  第二位演讲老师是一个有着超过10年Oracle以及Linux/HP-UX技术经验的老兵当当网DBA赵钢老师。2015年加入当当网,希望以自动化DB运维作为切入点,完成对DB的优化,对业务的优化。

创客168沙龙:电商企业数据库运维管理
▲当当网DBA 赵钢

  赵钢老师带来的分享——DB运维的四个现代化。赵刚老师的演讲十分有特点,首先分享了工作中的反思。逻辑复杂、项目繁多、项目周期短、短平快、秒杀、大促活动、pv剧增,面对这些电商数据库运维特色,运维DB需要定期优化,扩容,回收。这样就产生了不同层次的工作需求,小编用赵钢老师的一个图文来展示:

创客168沙龙:电商企业数据库运维管理

  DBA的A是Assistant还是Administrator?数据库高可用架构,高负荷数据库的优化,数据库每种对象的特性和原理,这些才是Administrator的价值所在。

  接着赵钢老师介绍了DB自助平台(DBself)的几个特点及目标,DB自助平台的数据展示和在当当网工作中的实践,数据更新现代化,数据库管理现代化的几要点——避免手动;规范化、流程化是前提;工具化、界面化是目标。

创客168沙龙:电商企业数据库运维管理

  当当当当~插播茶歇时间段同学们和几位老师的讨论,在这优雅充满书卷气息的咖啡厅,必须学到了很多平时自己工作中遇到的无法处理的困难,因此大家纷纷抢问!

创客168沙龙:电商企业数据库运维管理

  互联网应用中,大家最关注的还是高性能、高可用、自动化等领域,但是还有一个不容忽视的方向,就是数据一致性。在有些场景,一致性的重要程度甚至更高,比如支付、金融等等。来自美团网的DBA陈海峰老师,他带来美团网在数据一致性方面的探索:MySQL数据一致性探索。

  陈海峰老师曾从事java开发,数据分析师相关工作。近几年一直专注MySQL数据库技术及运维。他见证了美团外卖订单万到百万的飞跃,因此积累相当丰富的个人技术经验。

创客168沙龙:电商企业数据库运维管理

  陈海峰老师从MySQL实力一致性、MySQL集群一致性、一致性检查、一致性修复四个方面介绍了美团网是如何来做的。

  陈老师在分享过程中说到很多特别专业的技术问题,小编也是模模糊糊不太懂,于是在沙龙活动结束后,拿到了陈海峰老师的演讲PPT文稿。下面几个截图,相信关注此技术点的同学们一定会明白。

创客168沙龙:电商企业数据库运维管理

创客168沙龙:电商企业数据库运维管理

创客168沙龙:电商企业数据库运维管理

创客168沙龙:电商企业数据库运维管理

创客168沙龙:电商企业数据库运维管理

  在一致性检查方面,共有三点:总体架构、pt-table-checksum、上线情况。

  时间总是过得很快,一下午的沙龙时间结束了。许多开发者似乎意犹未尽。有的干脆拦住老师提问交流。最后献上大合照。对于未能够到场的朋友们,请关注【创客168】的新活动吧~

创客168沙龙:电商企业数据库运维管理

  无论你是想找到志同道合的小伙伴,还是想搞定Start-up的技术端难题,亦或者只想和大家一起分享下你的创业经历。只要你想,我们欢迎你的加入!

0
相关文章