技术开发 频道

大数据发展遇瓶颈 应用创新是王道

  【IT168 评论】2016年5月12日-14日,第七届中国数据库技术大会(DTCC 2016)在北京国际会议中心拉开帷幕。作为国内数据库与大数据领域最大规模的技术盛宴,在为期三天的会议中,大会将围绕MySQL、NoSQL、Oracle、缓存技术、云端数据库、智能数据平台、大数据安全、数据治理、大数据和开源、大数据创业、大数据深度学习等领域的前瞻性热点话题与技术展开深入探讨,并邀请一大批国内顶尖的技术专家来进行分享,以满足广大从业人士和行业用户的迫切需要。

  本届是大会创办以来,规模最大,参会人次、参展合作伙伴最多的一次盛会,云集了来自五湖四海的5000余名IT精英,相聚在这里,共话数据库技术发展潮流,共赴大数据浪潮之巅。在“大数据基础设施”专场,人大金仓大数据业务部总监白芸进行了题为《数据之道 笃行拓新》的主题演讲。

大数据发展遇瓶颈 应用创新是王道
人大金仓大数据业务部总监 白芸

  作为数据库技术大会上为数不多的女嘉宾,而且又这么高颜值,那小编先818美女嘉宾简介吧——【毕业于中国人民大学信息学院,获得计算机及应用专业硕士学位。 毕业后进入北京人大金仓信息技术股份有限公司,参与金仓数据库产品的研发,曾任咨询服务部总监、产品中心总监,现任大数据业务部总监,负责大数据系列产品研发,以及大数据解决方案的咨询和实施服务。】

  自主可控数据管理下的大数据业务

  当前,“互联网+”、大数据、云计算成了各个传统行业追逐的焦点,在这些关键词的背后,无不体现着“网络强国”的宏观战略部署。随着大数据发展上升为国家战略,作为一个老牌国产数据库企业,人大金仓又是如何开展这项业务呢?白芸在数据库大会的演讲中介绍了人大金仓的大数据业务:

  【解决方案】提供360度全景大数据解决方案,包括项目全流程支持—提供大数据规划、实施、运维全流程的技术支持;数据全生命周期管理—数据产生、获取、处理、存储、治理、分析、应用。

  【核心产品】提供提供全栈大数据产品线,结合实际业务场景需求,形成最合适的大数据解决方案。全方位产品支撑:数据采集、存储管理、分析挖掘、数据利用。

  产品包括——大数据平台KingbaseDP;数据资源管理平台KingbaseDRP;数据整合工具KingbaseDI;商业智能平台KingbaseSmartBI

  【实施服务】依托专业服务实施团队,凭借多年数据领域经验,助理客户大数据应用顺利上线。

  人大金仓大数据中心基础架构

  先来看看传统数据仓库与大数据中心的差别,如下图:

大数据发展遇瓶颈 应用创新是王道

  接着是数据仓库向大数据中心的演进:集成大数据和数据仓库能力以增加数据资产价值,提高数据运营能力。低成本的高可靠硬件平台,采用x86平台可节省大量成本及后期维护费用;集成的数据采集平台提供对结构化、非结构化数据进行批量、实时的采集处理能力,并能提供无限制的扩展和高性能处理能力;优化海量数据存储于处理平台基于Hadoop技术的实现,优化的产品级海量数据存储于处理平台,实现对于各类大数据的低成本的存储和分析,具备无限制的扩展能力;增强的分析能力体系可在原来传统数据分析的基础上增加如文本、图像、视频等分析功能。

大数据发展遇瓶颈 应用创新是王道

  大数据中心基础架构图

  在这里,小编只是截图了一个基础架构图示,具体的技术架构展示部分,可以到《DTCC2016数据库技术大会PPT文集》中查看或下载。

  数据、技术、应用三层面分析大数据发展所遇瓶颈

  在演讲结束后,小编对白芸进行了专访,在采访时问到目前国内政府大数据发展面临的诸多瓶颈,白芸从三个层面进行了分析。

  “政府部门的数据来源于内部和外部。”从数据层面面临的困境看,政府内部数据其实远远不止局限各部门掌握的自身业务数据,还须清楚地认识到不同系统数据的内在关系,数据结构是否存有冗余,数据存储是否是“信息孤岛”。

  此外,就外部数据而言,不同的政府部门在大数据建设过程中,究竟还需要哪些外部数据?外部数据通过什么方式获得?数据获取过程中需建立怎样的合理机制?在白芸看来,以上种种疑难都是政府大数据建设过程中考量的焦点。“比如,住建部门根据自身数据只能了解房屋的售出率,如需分析售房屋的空置率,或许就要参阅房屋的水表、电表信息,这就需要协调水务、电力等部门的数据。”

  而在大数据的应用方面,白芸认为,现在很多应用场景并没能逃离以往的场景设计。“真正的大数据应用并不是仅仅根据现有数据绘制一份报表、一个曲线图,就能称之为大数据产品,这些依旧是一种传统的统计和数据分析。”

  从数据到具体应用场景的实现过程,大数据技术的重要性自然不言而喻。而随着具体应用场景的细化和复杂度加深,数据操作方如何采集数据?如何对原始数据脱敏、加密?如何进行数据建模?白芸认为,这些挑战都需要在技术层面的不断加强。

  总结

  “目前,国内大数据行业在数据和技术方面发展程度与国外步伐相近,但与国外大数据应用方面还存在很大差距。”白芸在采访中说道。

  随着国内信息化的进步以及系统替代人工进程加快,信息化将逐步解决业务加速和职能高效的问题。在此基础上,大数据应用也将呈现出从无到有、再到优化和增值的趋势。在这个过程中,应用方自然会探索自身业务产生的数据究竟有多少价值,还能创造多少价值。

0
相关文章