技术开发 频道

主流开源NoSQL及分布式存储应用与思考

  【IT168 专稿】2013年4月18-20日,第四届中国数据库技术大会(DTCC 2013)在北京福朋喜来登酒店拉开序幕。在为期三天的会议中,大会将围绕大数据应用、数据架构、数据管理(数据治理)、传统数据库软件等技术领域展开深入探讨,并将邀请一批国内顶尖的技术专家来进行分享。本届大会将在保留数据库软件应用实践这一传统主题的基础上,向大数据、数据结构、数据治理与分析、商业智能等领域进行拓展,以满足于广大从业人士和行业用户的迫切需要。

  自2010年以来,国内领先的IT专业网站IT168联合旗下ITPUB、ChinaUnix技术社区已经连续举办了三届数据库技术大会,每届大会超过千人规模,云集了国内技术水平最高的数据架构师、DBA、数据库开发工程师、研发总监、IT经理等,是目前国内最受欢迎的数据库技术盛会。

redis的特性与缺陷
点击进入第四届中国数据库技术大会(DTCC 2013)报道专题

  在今天下午的主题演讲中,来自腾讯公司的高级工程师田琪老师,为我们分享了关于《主流开源存储方案及在大规模分布式环境下的应用与思考》的相关话题,其中主要提到了主流开源NoSQL实现原理及优缺点总结,并介绍在大规模分布式环境下如何应用,优化,改进相关的存储方案,提供高可靠及高质量的数据落地服务。

redis的特性与缺陷
腾讯公司高级工程师田琪

  redis的特性

  在演讲中,田琪老师介绍了redis的特点,包括key - structure类型存储、支持数据可靠存储及落地、单进程单线程高性能服务器、crash safe及recovery slow、单机qps可以达到10W、适合小数据量高速读写访问。

redis的特性与缺陷
对分布式存储的一些思考

  redis缺陷与陷阱

  系统运行有毛刺;

  不同命令延迟差别极大;

  内存管理开销大;

  buffer io造成系统OOM。

  传统数据库与NoSQL间的选择

  传统数据库的问题

  • 单机时代产物

  • 数据迁移困难

  • 无法满足不同存储需求

传统数据库与NoSQL间的选择
传统数据库与NoSQL间的选择

  NoSQL的问题

  • 粗糙陷阱多

  • 外围工具不成熟

  • 缺少大规模部署应用的验证

  在演讲中,田琪老师也提到了handlersocket特点及缺陷。对于handlersocket特点,包括NoSQL接口访问MySQL(Innodb)、解决SQL解析,查询优化等CPU开销、插件安装无数据迁移成本以及QPS可以达到8W。

传统数据库与NoSQL间的选择
定义介绍

  同样,handlersocket本身也有缺陷,包括配合DDL使用有严重问题、写性能差,比传统SQL接口还要慢、只能支持Row Based复制,以及性能优势建立在没有磁盘IO瓶颈基础上。

0
相关文章