技术开发 频道

李永辉:IBM大数据产品及实践路线图

  【IT168 专稿】近日,主题为“行胜于言”的2013 IBM大数据与分析高峰论坛在北京举行,会上正式发布了大数据分析加速技术BLU Acceleration以及面向Hadoop的PureData版本,同时,IBM大数据平台的旗舰产品BigInsights、Streams、DB2、Informix的升级版本也在本次大会上亮相。IBM全球副总裁兼大中华区软件集团总经理胡世忠、IBM全球副总裁兼IBM中国开发中心总经理王阳、IBM大中华区系统与科技事业部技术总监李永辉等IBM高层出席了此次大会,分享了IBM大数据与分析创新技术的最新进展。

IBM大数据探索
▲IBM大中华区系统与科技事业部技术总监 李永辉

  IBM大数据探索

  大数据从何而来?李永辉表示,实际上这些数据主要来源于三个方面,分别是传统的结构化数据、非结构化数据和流数据。具体来说,随着技术和信息来源的不断发展,企业处理结构化数据出现了很多新的技术,如CPU的速度、闪存的技术等。而非结构化数据在移动互联网的带动下,产生越来越多的信息,利用这些数据就可以挖掘出有用的信息。另外,流媒体产生巨大的流数据,是大数据首先需要挖掘的新的数据来源。

  探索和挖掘大数据,发现业务相关的兴趣点,从而更好的制定决策。对于大数据,企业一般有以下需求:不给定假设条件,探索现有企业数据和内容之外的新数据资源的潜在价值;给定假设条件,挖掘业务需求相关信息;关联上下文中不同来源的信息并评估非结构化内容的商业价值;使用可视化、算法和处理发现兴趣模式;防止探索过程中的敏感信息暴露。

IBM大数据探索
▲IBM大数据探索架构图

  如何利用IBM的软件解决方案从大数据中抓取有用的信息呢?李永辉表示,在IBM的大数据解决方案中,IBM Streams提供了抓取和分析流数据的能力;BigInsight是IBM提供的企业版Hadoop架构,能够对非结构化数据做进一步的分析;Warehouse处理传统的结构化数据,针对数据量的增加做了很多改进;Data Explorer and Content Analytics抓取有用的信息寄存在数据仓库中,并提供多个数据的挖掘和关联性的分析。

  在IBM大数据分析解决方案中,Cognos BI是一个报表分析工具,可以从多个数据库的结构化和非结构化数据中抓取有用信息,并针对大量历史数据进行预测。透过IBM SPSS工具建立数学模型,根据收集数据的特征也可以预测未来。

  预测是大数据发展的一大特色。以IBM的客户——中国气象局为例,需要通过大量数据来预测未来天气情况,主要包括三种类型的预测:一是气候模型的预测,推测下一个冬天是冷冬还是暖冬;二是短期的预报,主要利用物理模型推测未来气候变化;三是卫星的推测,即临近天气预报,预测未来几小时的天气情况。中国气象局采用IBM PureSystem后,比前一代系统提高了50倍性能和100倍的存储容量。

0
相关文章