技术开发 频道

周回顾:2012系统架构师大会完美收官

  【IT168 资讯】上周,一年一度的中国系统架构师大会(SACC)在北京福朋喜来登酒店举行,本次大会吸引了1000位来自全国各地的架构师、工程师、开发经理、DBA、运维总监、CTO来参加,通过专场研讨、技术培训、圆桌讨论、自由交流、微博互动、有奖调查等环节,为来自全国各地的专业人士搭建一个充分的交流互动平台。2012中国系统架构师大会围绕“架构设计、自动化运维与安全、云计算”三个热点话题展开。在这里,笔者将对本次大会做个回顾,并对本周的其他热点事件进行盘点。

  热点一:2012中国系统架构师大会完美收官

  9月13日,2012中国系统架构师大会正式开幕,盛拓传媒CEO高颖睿发表致辞演讲,他指出,2012中国系统架构师大会是由盛拓传媒旗下的IT168、ChinaUnix、ITPUB联合主办的第四届系统架构师大会。在本次大会中,既安排了百度、新浪、网易的技术专家为大家分享最新最前沿的架构设计。同时,也将关注创新型网站在系统架构中的实际应用,关注其网站在不断发展中系统架构调整的过程,从而为中小型网站实现系统架构起到一定指导意义。

周回顾:2012系统架构师大会完美收官
▲盛拓传媒CEO高颖睿

  目前国内互联网经济形势大热,电商、社交等网络企业成长速度惊人,架构师在业务发展中扮演的角色越来越重要。互联网技术的创新带给我们的是便捷,以及更丰富的应用,但是每一种新应用的成长壮大都离不开架构师的身影。本届中国系统架构师大会将继续沿袭历届大会偏重技术分享与案例剖析的会议风格。为此,盛拓传媒将继续打造中国系统架构师大会这一品牌,使其成为业界专业性最强、影响力最深、规模最大的权威性技术盛会,为各大企业的系统架构师提供最前沿的知识储备,帮助更多的企业实现更远大的梦想。

  在随后三天的会议上,来自百度、腾讯、网易、淘宝、京东等网站的技术专家,以及IBM、微软、深信服、网宿等厂商的技术代表陆续发表主题演讲。以下笔者将对几个精彩演讲进行梳理,希望没能参会的网友也能够从中受益。  

  IBM资深行业基础架构师王伯韬在大会上以“云固基础,智算未来----构建完美基础架构”为主题为与会的架构师进行了精彩的分享。王伯韬指出今天的基础架构面临巨大的挑战比如很多企业要减少设备数量的蔓延和运维成本、空间和能耗的限制、如何保证服务水平和7x24运行不间断的运行。很多的企业已经把IT看作是日常业务系统来运营,而不是简单的支撑系统。企业IT的价值,它已经不是简单程序化功能,而是要快速支持企业的业务。企业的CIO要考虑怎么让IT快速地支持业务创新和适应市场的变化,特别是针对成长型企业,怎么样借助IT实现快速的发展。同时怎么更加灵活增加和减少计算资源,按用量支付,尽可以减少IT的支出,这些都是今天基础架构面临的问题。

  北京新媒传信科技术有限公司新技术研发部数据库架构师吴炳锡发表主题演讲《漫谈MySQL高可用架构》,分享了不同MySQL高可用架构的特点及运维要点,并从飞信核心数据库发展的角度分析数据库架构选择过程。据吴炳锡介绍,飞信的高可用方案经历过四个版本,V1是基于共享存储的HA架构;V2是基于同步的HA架构(RedHat Cluster Site);V3是基于域名数据库托管平台;V4是基于MySQL Proxy模型的HA架构。目前,V3和V4共存,V3的架构主要用于新业务,适合快速上线或是共有云相关的项目。V4适合数据量比较大,需要进行拆分或是前面App较多,需要有连接池的场景。V4有可能会出一个轻量的版本和官方proxy功能基本一样,只是多一个连接池的功能。

  奇虎360系统部总监唐会军在大会上以“奇虎360 Cassandra系统设计改进实践”为主题为与会的架构师进行了精彩的分享。据唐会军介绍Cassandra在奇虎的总服务器规模超过1500台,最大单个集群150台,Cassandra的版本都是基于0.7.3上不断改进的。奇虎360之所以会选择Cassandra,是因为团队人员少,事情多,而且对于中小型企业去开发一个这样的软件是很困难的,所以选择开源项目,无单点,无中心,适合在线业务,代码是JAVA的容易懂,团队成员有代码基础,社区比较活跃。

  网易杭州研究院副总监汪源发表主题演讲《网易分布式核心架构实践:MySQL for the Web》,分享了网易MySQL在系统构建与优化过程中最核心的工作与经验。据汪源介绍,网易的MySQL项目主要包括三个方面,一是基于MySQL的分布式关系型数据库;二是自主研发的存储引擎,该引擎最大的特点是既可以支持事务又可以是非事务的;三是开源MySQL分支,即InnoSQL。

  云和恩墨创始人、ITPUB版主盖国强发表主题演讲《Oracle数据库架构演进和性能优化实践》,分享了在云架构、大数据风起云涌的时代,企业在数据架构变革中面对的问题,以及Oracle数据库的未来演进变革。盖国强表示,数据库架构的演进就是一个合久必分的过程。很多企业都经历过这样一个过程,随着企业不断发展,数据不断积累时,首先做的是拆分数据表、分割数据库、采用分布式数据库、进行异构与迁移,就是互联网企业所谓的去IOE。从Oracle最近的技术演进来看,Exadata最核心的架构演进在于存储,Exadata将存储拆分成多台分布式存储,这些存储又能同时参与运算。同样,数据库架构的演进也是一个分久必合的过程。数据库面临合并整合,Oracle需要将其他数据库中的特性整合,以提升自身的性能,满足更多的需求。

${PageNumber}

  热点二:新版性能大幅提升 IBM DB2 10.1首测

  继SQL Server 2012SQL Azure产品体验后,IT168又对IBM DB2 10.1进行了新品体验。DB2是美国IBM公司开发的一套关系型数据库管理系统,目前最新的版本是db2 10.1 for LUW。测评的内容主要包括3方面,分别是数据库安装、数据库新功能以及性能提高,其中新功能着重测试数据压缩、ingest导入工具和兼容Oracle功能,性能仍然围绕tpc-h展开。

数据库新品体验:IBM DB2 10.1首测

  经过这次测试, 我们对Windows版DB2 10.1数据库已经有了初步的印象,安装比较容易,功能比较强大,总体性能也比较好,能充分利用硬件资源。尤其是数据压缩、分区内并行对查询性能提高较明显,最重要的,一些语句虽然耗时较长,但都能输出结果,对比9.7版有了很大改善。再次,新推出的Ingest工具允许添加复杂的SQL语句对数据进行操作。压缩表的导入性能超过普通表。而且,Linux下的各种命令大部分不加修改地都能在Windows环境中继续使用,可以缩短学习周期。

  要说存在的问题,首先,对部分SQL书写的要求比较高,否则执行计划不良。其次, Ingest工具在默认配置下性能不如传统load工具,而且某些行为与load不一致,比如代码页问题。再就是DB2系统的复杂性,安装时系统设定的默认值往往不够用,数百个和性能相关的各种配置参数需要记忆。另外, 服务器安装包不包含图形化管理工具和文档,需要从因特网另外下载,对数据库管理不是很方便。

  Oracle兼容功能虽然有很多改进,但模仿得还是不是太完整,需要增加对connect by level的支持并改进执行计划的显示方式和显示速度。IBM很重视文档的本地化工作,10.1版发布不久就公布了简体中文的文档,这点很有利于技术人员熟悉他们的产品,在官方技术网站也有大量中文DB2技术文章和入门教材,这些都是很好的学习资源。总的来说,IBM DB2是一个功能全面,性能均衡,运行稳定的主流商用数据库,这也是在金融行业一直占据主流地位的原因所在。

  热点三:地图是这样做的:Google地图背后的故事

  在每张Google地图的背后,都有一张肉眼不可见的地图,正是这张隐藏地图隐含着真实地理位置的逻辑:哪些地方不能左转,哪些是高速公路匝道,限速要求和实时路况等等。正是这些数据让Google为你提供导航成为可能。上周,Google请我去参观这张隐藏地图背后的构建机制,这是Google首次向外界披露这项名为Ground Truth或者GT(地面实况)的计划到底是怎么回事。

新版性能大幅提升 IBM DB2 10.1首测

   制作一个地图的具体过程:首先你得从合作伙伴那儿获得原始数据,然后通过工程处理将这些数据整理成合适的格式并同其他源头获得的数据进行整合,之后还需要一些列人工处理,最后才能生成一张高质量的地图——远胜过简单拼凑所得的效果。

   除开同卫星图片比较之外,Google还有其他的处理方法,比如同其他数据库如美国地质调查局获得的数据做比较。另外一个重要数据源则是Google的街景车,据称街景车每两周发布的图片数据要比2006年Google处理的数据总和还多。

   让搭载着定制相机的街景车走遍全世界,这个主意值得大家致以敬意。目前Google的街景车已经行驶了500多万英里,这些里程为地图制作提供了两类有价值的信息:其一是街景车实地走过的路径,这意味着到底那些路是走的通的;其二是拍摄的照片,通过它们Google可以利用算法分离出其中的交通信号,并将这些信息嵌入到Google地图的深层中去。

${PageNumber}

  热点四:大数据来袭 传统IT厂商紧握Hadoop机遇

  大数据时代已经来临,并悄悄的影响着我们的生活。根据IDC最近一项研究显示,在Facebook上每20分钟就有100万个新链接被分享,1000万条用户评论被发布。Facebook和其他所有互联网网站、互联网应用,已经逐渐变成了整个数据采集、分析、处理、增值的数据架构。

  在中国,社交网络同样如火如荼。新浪副总裁王高飞就曾表示,新浪微博的注册用户已超过3亿,用户平均每天发布超过1亿条微博内容,相当于每10个中国人里面,就会有一人每天发布一条微博。每位用户的平均在线时长为60分钟,活跃用户中有60%通过移动终端登录,所有来自移动终端的原创内容中,有40%的微博分享照片。在社交网络的影响下,用户通过移动设备能够在任何时间、任何地点、任何状态下消费和创造数据。

  社交网络和移动互联网的发展催生出大量的非结构化数据,这是一种有别于传统结构化的一种数据类型,常见的图像、视频、音乐、办公文档、Web页面、微博、即时通信和传感器产生的数据等都属于非结构化数据。据英特尔亚太研发有限公司总经理、软件与服务事业部中国区总经理何京翔博士介绍,当前每48小时产生的数据量相当于人类文明到2003年产生的数据量总和,未来随着物联网和智能城市的发展,这一数字将更加惊人,且多为传感器等数据采集装置所产生的非结构化数据。

  除此之外,传统企业同样面临大数据的挑战。据Gartner预测,企业数据将在五年内增加800%,其中80%是非结构化的。来自团体、社区,以及社交网络的非业务数据会成为这种趋势中的大部分。非结构化数据的爆炸式增长,使传统数据库面临巨大挑战,Hadoop逐渐成为全球IT产业的宠儿。

  Hadoop是一个100%的分布式文件系统,被称为继Linux以来最成功的开源软件,其最大的优势就是存储和计算非结构化数据。Hadoop可以利用高性价比的X86服务器组成高性能集群,当数据量增加到无法负荷的时候,只需增加相应节点即可满足计算需求,价格低廉的存储和计算是大数据的推动力。

Hadoop从应用到系统架构

  从应用层面来看,不管是数据库还是商业智能厂商对Hadoop都相当重视。与此同时,传统硬件厂商也将Hadoop作为大数据战略至关重要的一环。近期,全球知名的半导体芯片制造商英特尔公司推出优化后的Hadoop发行版,希望通过英特尔的市场先机和技术优势,将Hadoop推广至全球市场,以应对大数据的挑战。

  英特尔的专长是做硬件,SAP、甲骨文等主流应用厂商的大数据产品都采用英特尔的至强处理器。但英特尔在软件行业也颇有建树,英特尔每年都有大量的开源技术专家参与开发开源项目,仅中国的上海研究院,做开源研究的就有200多人。比较知名的开源项目包括TIZEN项目和Yocto项目,其中TIZEN项目是以MeeGo为基础的开源项目;Yocto项目,以Linux为基础,但它不是Linux的分销,而是提供一个自定义项目。

0
相关文章