技术开发 频道

浅析基于SQL Server PDW大数据解决方案

  当数据分析业务人员在美国Sandy飓风来袭之前分析这些数据时,就可能需要基于美国各州的预测降雨量并结合人口分布情况,来计划派往各州的救援部队资源的调配。例如,人口年龄大于69岁以上分布较多的州就可能需要调配更多的救援来协助当地人口的撤离工作。

浅析基于SQL Server PDW大数据解决方案

  下图是一张业务人员通过Excel 2013的PowerView制作的报表,报表中集成了Hadoop中的人口分布数据与PDW中的各州降雨量预测数据,以图形化的方式清晰展现出Sandy飓风即将袭击范围内各州超过69岁的人口分布状况并结合未来6小时的降雨量预测。

浅析基于SQL Server PDW大数据解决方案

  通过点击其中某个州,还可以进一步下钻分析各州内部的具体人口分布情况及降雨量。

浅析基于SQL Server PDW大数据解决方案

  作为业务人员可以迅速通过以上报表直观化的数据分析来支持派往各州救援部队的资源分配计划。

  总结

  在大数据日益增长的时代,越来越多的企业也在逐渐部署基于Hadoop框架的分布式文件系统存储来自于各方面的数据。大数据解决方案不仅只是数据存储量到达TB/PB级别,如何能够方便快捷的消费这些数据、将这些数据综合在一起进行及时的分析、监控、挖掘,从而发挥这些数据的价值、支持未来的决策将是大数据解决方案成功与否的一个重要方面。

  数据消费的用户大部分其实是业务人员,而并非IT技术人员, 能够使业务人员直接消费Hadoop当中的数据也就是Polybase技术的设计初衷。Parallel Data Warehouse的Polybase技术作为关联Hadoop与传统关系型数据库的一个桥梁 (如下图所示),从底层平台层面使两边的数据能够互联互通,为业务人员提供了自助分析的便利,并且集成来自不同数据源包括Hadoop数据,业务或技术人员都无需学习编写复杂的Map Reduce脚本,只需要使用最熟悉的标准SQL语言或者是商业智能分析工具如Excel, 即可实现对大数据的灵活分析和展现,方便快捷地响应业务需求并支持业务决策。

浅析基于SQL Server PDW大数据解决方案

  此外,Polybase技术也大大提高了IT技术人员实现大数据解决方案的效率,降低工作量成本。在传统基于Hadoop的技术架构当中,IT技术人员往往需要编写很多后台作业及脚本实现Hadoop与关系型数据库之间的数据导入导出,而且后台的作业还经常有可能随着前端业务需求的变化需要不断的更新,维护的人力成本也很高。Polybase技术通过底层自动调用标准接口的方式,可以通过简单的SQL命令随时实现Hadoop与关系型数据库之间的数据导入导出,结合业界标准的前端商业智能分析及报表工具,可以帮助用户快速搭建并实现一套完整的端到端的自助式大数据解决方案。

  更多精彩尽在2014年4月10日-12日在北京五洲皇冠国际酒店举办的第五届中国数据库技术大会,3月25日之前订票可享受8.8折最低票价。

Facebook专家:Hadoop不足以处理大数据
进入官网了解更多详情

1
相关文章