登录 / 注册
IT168技术开发频道
IT168首页 > 技术开发 > 技术开发评论 > 正文

大数据概念潮来势凶猛 你被忽悠了吗?

2015-09-25 07:00    it168网站原创  作者: 崔月 编辑: 崔月

  【IT168 评论】近年国内大数据概念被炒得愈发火热,相关的产品厂商也如雨后春笋般应运而生,大数据服务市场迎来爆发期。然而,很多大数据服务仍然处于“玩概念”的阶段,大数据只被当做噱头,并没有发挥其实质作用,还有许多用户购买了产品才发现自己被忽悠了。这种现状下,大数据不免被扣上“华而不实”、“炒作为生”的帽子,那么我们应该如何正确看待大数据?

大数据概念潮来势凶猛 当心被忽悠!

  大数据概念

  大数据只是一个名词,并不是数据量大就一定是大数据,假设单机器处理能力10G,那么大于10G就是大数据。网友heguangwu认为,大数据的核心是Value,哪怕用excel分析也可以。当前的趋势是数据存储和分析代价越来越小,所以能保存的数据的广度和分析的深度都在扩大。以前出于成本考虑,不在保存分析范围内的数据,现在也开始作为一个参考的维度了。对企业而言,如何从更多的数据集分析出更有价值的东西才是他们所关心,即使是小企业有的也开始考虑(做大数据方面的投入)。

  网友chenxing2从事SQL相关工作,其公司不久前做了一个ERP,增加功能包括贡献度、销售构成、ABC分析、冻销分析、商品趋势、销售速度、业绩趋势等等,而在客户使用他们研发的这套软件之前,一直使用excel做分析。那么他们现在做的这些是否也算是大数据处理?chenxing2表示:“个人认为,怎么得用个聚类、推荐、语言识别、特征识别、朴素贝叶斯算法与交叉验证等之类的才够档次。现在大数据的一些开发方式及开源框架,就目前很多公司的那点数据量根本用不上,现在单库解决了,数据量再大,可以后期分表分库、读写分离解决。当数据量再大时,才考虑大数据的框架。所以,现在用了也是大炮打蚊子,起不到作用,搞不好还不如传统手段来的高效。目前能用上个nosql数据库感觉都是超前一点的了。”

  对于chenxing2的看法,网友heguangwu解释道:“表面上看,企业所用的传统方式已经很好的解决问题,但公司数据终究会越来越多,而且要求分析结果会越来越快,到最后慢慢会应用到大数据的一些技术。现在即使很多大公司也不是马上全盘采用当前的所有大数据技术,也是一个逐步替代和使用的过程。”

  其实,数据一直存在且量未必小,只不过以前缺乏挖掘数据和将其产生联系的思维,以及分析数据的能力。在信息爆炸时代中,随着技术和硬件设备的增强,海量数据的价值被有意识的挖掘,大数据概念也慢慢被认可,明确“数据资源也是资产”这个观点。

  并不是所有的数据都具备挖掘价值,数据有足够细的颗粒度、丰富的维度、活性以及相互关联,只有这样的大数据,才是可以对各种行为进行数字化描述,从而归纳出信息的。除了数据,技术也是大数据挖掘必不可少的一环,当数据规模达到甚至远超PB级别,当数据开始位于不同数据库,甚至不同平台上,当数据以各种不同的形式出现,如何寻找有用的信息?这一切都引发了如今“面向大数据”的技术变革。而这以上的内容均是为了最终的商用做准备。

  大数据处理相关技术

  大数据技术种类繁多,近年诞生的新技术也有不少,SIGMOD、VLDB、Hadoop submit、spark submit等等,那么,网友们是如何看待大数据技术的呢?

  网友chenxing2说道:“关于大数据分析,从最开始的Hadoop及Hadoop的map reduce的问题发展到Spark、Samza、Apache S4、storm等大行其道,而后storm的一些问题又衍生出了JStorm和Twiter Heron。ES(ElasticSearch是基于Lucene的搜索服务器,提供一个分布式多用户能力的全文搜索引擎)虽然能够与Hadoop结合使用,但一般推荐solr + haddop结合。”

  网友laputa73从自身应用经验中总结得到,voltdb的社区版只能玩玩,持久化,集群,HA特性都没有。influxdb还不成熟,集群方案尚不可用。

  网友heguangwu说:“时序数据库方面开源方案不多,OpenTSDB也只是在HBase上套一个schema来做的,性能只能说是一般了。这方面感觉开源的关注度不够,无太多的产品。”

  实际应用案例

  网友laputa73讲述了其在应对自身大数据处理的两种需求时所遇到的困难:“我们的需求一类以插入为主,例如每天500G的日志分析和查询,目前使用ES处理,把它当TSDB用。遇到关于ES部署使用相关的问题,参数调整,索引规划等,但感觉ES的写入性能没有想象中高。ES做一个大集群,和分开几个集群,写入性能是否有不同?另一类需求以更新为主,每天1亿次更新,但总记录数在500w左右,这项工作以前用Oracle,后来换成了Redis,可感觉不太好用。Redis的主要问题是它是一个KV型的而非文档型,不能使用主键之外的查询,这就需要自己维护多个表,这样相当于降低了性能。”

  网友heguangwu表示,对于第一类需求,ES在这种数据量下应该是没有问题的,ES在内存中维护了一个反转索引表,所以能保证速度,相当于数据库的内存索引。对于第二类需求,替代方案可以尝试HBase(性能最低)/Cassandra/巨杉(性能应该最高)之类的解决方案,插入速度应该可以,查询就要取决于具体的查询方式了。Redis确实只支持主键查询,这类可以试试voltdb,或许能满足你的需求,其也是内存数据库性能高,但好像只能用存储过程。内存数据库这块大多是商用方案比较多,开源的大多是KV型存储,而不是数据库。

  目前大数据处理厂商基本能够分为三类。首先是具有收集大量数据的能力的公司,其次是具备数据分析技能的公司,最后是基于思维的,对数据挖掘新价值有想法的公司。我们现在处于一个数据过量而技能稀缺的时代,资讯的价值就是资讯本身而不是资讯的来源,而大数据最值钱的部分就是它自身。即便我们处理数据量不是很大,也并不妨碍我们去更多的去关注数据本身的价值。以上观点均出自IT168旗下chinaunix论坛的一则讨论帖中,网友们分享了自己对大数据方面的认知及处理经验。小编将话题内容筛选整理成文。还对大数据概念和技术等云里雾里的小伙伴们,不妨一看。

原帖地址:http://bbs.chinaunix.net/thread-4185247-1-1.html

标签: 大数据
相关文章
  • IT168企业级IT168企业级
  • IT168文库IT168文库

扫码送文库金币

编辑推荐
系统架构师大会
系统架构师大会
点击或扫描关注
IT168企业级微信关注送礼
IT168企业级微信关注送礼
扫描关注
首页 评论 返回顶部