技术开发 频道

新浪SQL Server日均两亿点击量解决方案

      【IT168 方案】新浪是一家服务于中国大陆及全球华人社群的领先在线媒体及增值资讯娱乐服务提供商。  新浪在全球范围内注册用户超过一亿,各种付费服务的常用用户超过1200万,日浏览量最高突破3亿次,是中国大陆及全球华人社群中最受推崇的互联网品牌。新浪已成为国内最大的网络内容服务及无线增值服务提供商,两项收入均居行业之首。在多项调查评比中,新浪也均被称为最有价值的品牌,最受欢迎的网站。
  客户状况
  作为门户网站,点击率非常重要,用户的数量和覆盖面是获取利润、甚至生存的关键所在。因此,如何更好的收集用户信息,分析用户特征进而满足用户需求,就成为网络媒体获取竞争优势的关键。这就要求新浪网能够充分的利用各种信息来源,分析用户类别,用户偏好以及用户访问习惯等,依次调整网站从技术设计到内容编排,以在市场竞争中处于不败之地。这其中,网站点击分析既是第一手的资料也是最重要的信息来源之一。目前新浪的平均日常点击数已超过2亿次,每天都需要对这些纷繁复杂的海量数据进行深入分析,从中找出客户的访问习惯等信息,为网站的设计提供帮助,为使用者提供更好、更方便的服务。因此,新浪网决定开发更为完善,功能更强大的网站点击分析系统,以更全面,更深入的分析点击数据,来保证和加强自身的竞争优势。
  解决方案
  新浪网首先面临的问题就是选择系统开发平台,平台的选择不仅关系到将来系统的整体应用性能,也同样影响到开发的效率、周期、灵活性以及日常维护量等,因而影响到项目总成本和投资效益。根据自身业务特点,以及比较分析多种平台,如基于Unix/Linux的Informix,Sybase,Oracle等数据库,最终新浪网决定使用基于微软的.NET平台和SQL Server 2005产品的商业智能套件来开发新浪的网站点击分析系统。据新浪网表示,选择微软的产品主要是基于业务的特性、产品卓越的性能以及相对较低的成本。“作为服务提供商,业务的敏捷性及技术的灵活性也是我们选择平台需要考虑的问题,以便在业务变化时能做出快速响应,”新浪网项目负责人王巍说,“.NET平台和Visual Studio 2005越来越多的应用于企业级应用的开发,在技术上已经成熟。特别是.NET Framework 2.0、SQL Server 2005以及Visual Studio 2005的高度集成,所带来的高效、宜用和灵活性使我们更加容易在短时间内完成不同业务层面上的商业智能的建设。并且原有数据库中难以实现的业务逻辑及复杂的数据处理过程都可以用.NET的多种开发语言来实现,满足了综合门户网站所要求的商业敏捷性需求。”
  “我们选择SQL Server 2005是因为微软在全球的商业智能市场中一直出于领先地位,在BI产品的可伸缩性、数据集成、开发工具和强大的分析等方面在业界具有明显的领先优势,我们希望通过使用微软新一代的数据管理SQL Server 2005与VisualStudio2005开发平台,能够使新浪的分析系统更加高效、可靠,为新浪业务的不断发展提供帮助。”新浪信息部门经理王巍说。
  优势与收益
  SQL Server 2005提供了强劲的系统性能
  基于SQL Server 2005搭建的商业智能分析系统出色的实现了企业级的数据整合,提供了值得信赖的可靠性和数据安全性,是一个可以实现任何时间,任何地点,任何设备均可安全使用的数据管理平台,提高应用软件的性能,简化管理,具有极高的性能和操作效率。
  “SQL Server 2005为我们带来了一个全新的企业级数据整合平台,通过SQL Server Integration Services(SSIS),我们能以整体的视角去考察网站用户的点击情况。”王巍说,“首先,用于快速开发SSIS包的、非常直观的开发界面被集成在Business Intelligence Development Studio中,使用SSIS整合不同的数据源和数据目标变得非常容易。除了那些常见的数据源,例如文本文件、OLEDB和ADO.NET(包括针对.NET的ODBC),在SSIS中还简化了访问SAP中数据的方式。内置的对XML和Web Services的支持使得与面向服务的架构以及其他非标准数据源的整合变得非常轻松。”
  “此外,为了获得对数据内在规律和发展趋势的进一步的分析,SQL Server 2005强大的数据挖掘功能为我们提供了这方面的帮助。通过SQL Server的数据挖掘工具可以标识数据中的规则和模式,从而确定出现问题的原因并预测将来将要出现的问题。在SQL Server 2005中,不仅支持第三方的数据挖掘算法的嵌入,而且,还新增了6种强大的数据挖掘算法,为我们进行更深层次的数据分析提供了帮助。”
  “面对每天2亿次的点击,系统出色的完成了点击分析任务,.NET平台的高效和SQL server的企业级性能让我们非常满意。”
  .NET和Visual Studio 2005带来了高度集成性,效率提升50%
  通过基于.NET平台,应用Visual Studio 2005集成开发环境,使得整个系统具有最大的兼容性,通过高度集成性和自动化,实现了相对于其它平台和以往版本50%以上的效率提升。
  “在SQL Server Integration Services中包含了许多非常有效的组件,例如数据和字符相互转化等,通过这些高级组件简化了数据集成过程中种种复杂的操作。除此之外,SQL Server Integration Services的基础结构是可以非常容易地进行扩展并且功能非常强大,我们的开发人员可以非常容易地开发和分发我们所需要的高级组件。”
  “在开发方面,由于.NET本身简捷的设计、丰富类库及集成的智能开发环境,已成为公认的多产开发平台。使用Visual Studio 2005,大量代码可以自动生成,这使开发人员的编码工作与早期版本相比效率能提高50%左右。另外Visual Studio 2005中还集成了许多代码质量控制工具以及一些测试工具,保障了整个系统的开发质量,”新浪网技术开发负责人王巍提到,“SQL Server2005与Visual Studio2005的高度集成性,让IT人员使用较少的时间、代码及资源为在线业务系统创建BI成为可能。”
  更容易使用和管理,降低使用,维护成本
  “在SQL Server 2005中,分析服务(Analysis Services)第一次提供了一个统一和集成的商业数据视图—UDM(统一空间模型),分析服务它把传统关系型报表模型的灵活、丰富和经典OLAP模型的强大易用的分析、较好的性能结合在了一起。”
  “Analysis Services 2005为BI服务器在企业级可伸缩、易管理、提高效率等方面为我们提供了很好的帮助。使用Analysis Services新的维度结构,支持UDM的应用程序允许我们的分析人员使用上千的维度和层次快速地执行强大的、直观的即席分析。不管是一级层次还是多级层次,分析人员都很容易的导航和查询UDM中数以亿计的维度成员,从而保证了每天2亿次点击分析的性能。另外,SQL Server 2005的分析服务支持并行分区和维度处理,能够更快的处理更多的数据。”
  基于.NET平台和Visual Studio 2005的集成开发环境带来开发成本节约以及系统本身的使用、维护的便利性,使得新浪基于SQL 2005的BI系统相对于采用Unix/Linux平台带来了很好的成本特性,长远来看新浪网可以节省20%以上的系统总成本。

0
相关文章