技术开发 频道

淘宝OceanBase打造结构化NoSQL数据库

        【IT168 现场直播】2011年12月3日消息,Hadoop中国2011云计算大会(Hadoop in China 2011,HiC2011)进入第二天的议程。Apache软件基金会主席兼Apache Hadoop项目负责人Doug Cutting先生,Condor创始人University of Wisconsin–Madison的Miron Livny教授, Ohio State University计算机系主任,Robert M. Chritchfield讲席教授张晓东出席了本次会议。

  在今天下午进行的NoSQL系统及应用分论坛中,来自淘宝的核心系统存储组技术专家杨传辉(淘宝花名:日照)发表主题演讲“OceanBase——结构化数据海量存储系统”,介绍了淘宝OceanBase的架构、应用及其后续发展。

淘宝OceanBase打造结构化NoSQL数据库
▲淘宝核心系统存储组技术专家杨传辉

  据杨传辉介绍,淘宝的OceanBase数据库最初的设计目的就是将NoSQL的可扩展性和低成本与关系型数据库的性能进行融合,充分发挥两者的优势。

淘宝OceanBase打造结构化NoSQL数据库
▲淘宝OceanBase数据类型

  OceanBase适用于以下四类场景:一是业务需要大表Join或者千万级数据秒级在线统计的场景;二是数据库性能不好,需要迁移到NoSQL的场景;三是分库分表麻烦,数据增长快的场景;四是NoSQL系统遇到问题,考虑其他NoSQL系统的场景。不适用线下分析、网页库、淘宝图片存储等非结构化数据的场景。

淘宝OceanBase打造结构化NoSQL数据库
▲淘宝OceanBase系统架构

  杨传辉表示在线存储数据量大,但最近一段时间修改数据量不大,因此将基准数据和增量数据分离,将增量数据不断合并到基准数据。其中基准数据的数据量大,一般采用SATA或者SSD存储;增量数据的数据量小,一般采用内存或者SSD服务。

淘宝OceanBase打造结构化NoSQL数据库
▲淘宝OceanBase设计要点

  OceanBase的新功能是海量数据实时分析,它支持按列存储,可以将千万级数据实时统计时间控制在秒级,简单统计操作两秒内。淘宝OceanBase的应用有很多,杨传辉着重介绍了收藏夹应用和CTU aCookie统计应用。后续OceanBase还将在可用性、可扩展性和工作方向等方面进行改进。

  欲了解Hadoop中国2011云计算大会(Hadoop in China 2011,HiC2011)的更多内容,请点击IT168报道专题:

淘宝OceanBase打造结构化NoSQL数据库
Hadoop中国2011云计算大会报道专题

0
相关文章