技术开发 频道

Facebook Message在HBase基础上的应用

        【IT168 现场报道】2011年12月3日消息,Hadoop中国2011云计算大会(Hadoop in China 2011,HiC2011)进入第二天的议程。在今年的Hadoop大会上,Apache软件基金会主席兼Apache Hadoop项目负责人Doug Cutting先生,Condor创始人University of Wisconsin–Madison的Miron Livny教授,Ohio State University计算机系主任,Robert M. Chritchfield讲席教授张晓东出席了本次会议并发表主题演讲。

  在今天下午进行的NoSQL系统及应用分论坛中,来自Facebook的技术经理Guoqiang Jerry Chen和软件工程师 Liyin Tang发表主题演讲“Building mission critical messaging system on top of HBase(在HBase的基础上建立关键业务消息系统)”,分享了Facebook开发HBase的经验,并且介绍Facebook Message系统的应用情况。

Facebook Message在HBase基础上的应用
▲Facebook的技术经理Guoqiang Jerry Chen

  Facebook Message是一个整合了站内消息、电子邮件、短信和聊天功能的综合消息系统,可以在不考虑通讯渠道的情况下联系到想要联系的人,用户还可申请到以@facebook.com结尾的电子邮箱。

Facebook Message在HBase基础上的应用
▲Facebook Message

  据Guoqiang Jerry Chen介绍,Facebook Message自2009年12月开发以来,经历了小规模的测试到大规模的试用的过程,今年7月份所有的Facebook用户均可使用Facebook Message。Facebook Message每天约80亿的消息,75亿以上的读和写操作。高峰时期每分钟150万的读和写操作,其中约55%的读和45%的写操作,每次的写操作会插入16个记录。

Facebook Message在HBase基础上的应用
▲为什么会选择HBase

  谈到为什么会选择HBase,Guoqiang Jerry Chen认为HBase具有高效率的写操作、良好的随机读操作性能、水平扩展性、自动故障转移、强一致性的特点使得Facebook Message选择HBase,并且HDFS和MapReduce也是一个重要原因。其中强一致性是Facebook Message选择HBase而不是Cassandra的主要原因。HBase中存放短消息、信息元数据和搜索引擎,而Haystack(图像存储)存放附件和长消息。

Facebook Message在HBase基础上的应用
▲Facebook对HBase进行了改良

  在过去的一年中,Facebook Message发生了几次宕机事故,其中最严重的一次是约1/3的region servers发生了宕机。为了解决这样的问题,Facebook对HBase进行了改良。

  欲了解Hadoop中国2011云计算大会(Hadoop in China 2011,HiC2011)的更多内容,请点击IT168报道专题:

Facebook Message在HBase基础上的应用
Hadoop中国2011云计算大会报道专题

0
相关文章