【IT168 资讯】大数据如今已经是常被IT人挂在嘴边的概念，经过多年的发展，技术已经比较成熟，然而，其商业模式却仍然十分稚嫩。在大数据成为趋势，成为国家战略的今天，如何最大限度发挥大数据的价值成为业内人士研究思考最多的问题。大数据的价值如果发挥不出来，那么花费很大力气收集的数据只能成为食之无味弃之可惜的“鸡肋”而已。所以，现在大数据的重点课题已经变为“大数据如何变现”，而不是追求多么新鲜、强大的功能。那么在这种环境下，谁最先一步找到密码，谁就能够抢占市场，赢得发展。

　　2015 SACC中国系统架构师大会于10月22日在北京隆重召开，大会为期三日(10月22日、23日、24日)，以“互联网+重塑IT架构”为主题，邀请了中国最优异的架构师前来做主题分享。开幕当天现场便吸引了众多IT人士及爱好者，场面异常火爆。大会进入到第二日，在大数据变“现”专场，日志易CEO陈军、蚂蚁金服高级专家李志灏、优酷专家汪飞等均到场分享各自从业多年的经验和心得。

　　在大数据分析中，有90%都是非结构化数据，而其中大部分是日志。运维、安全审计、用户数据以及业务数据等都属于日志，日志本身就无处不在，所以能够从日志里面挖掘的价值非常高。在大数据变现专场，日志易CEO陈军首先与大家分享了题为“海量机器大数据实时搜索分析”的演讲，介绍了目前日志实时分析的相关应用场景、技术难点以及趋势发展等内容，干货满满。

▲日志易CEO 陈军

　　日志的应用场景，企业对日志分析的重视度提高

　　日志本身来源于服务器、设备和传感器等机器设备，且所有日志前都带有时间戳，所以，其学术定义为“时间序列机器数据”。服务器、网络设备、应用软件以及用户信息等内容都包含在日志中，甚至还有物联网传感器等信息。陈军在讲话中介绍日志分析的应用案例时提到，美国某汽车公司，已经在车联网使用日志分析技术，福特汽车使用燃料有两种，汽油和电力，当驾驶员更换所用汽车类型时，企业如何收集驾驶员驾驶两种不同类型汽车的用户行为数据作为业务参考?奥迪汽车曾分析过，一辆汽车一天能够产生20GB的数据，那么1000辆每天就是20TB，以此类推，其产生数据量十分庞大。而福特又需要实时处理这些数据，所以它需要能够实时分析的大数据引擎。

　　以前，企业的日志处理是由每个部门各自进行的，但这种处理很容易导致一个问题，即由于各个业务部门出发角度不同，所以处理出来的结果相互对不上，且数据不准确。一些大公司为解决这个问题，成立了专门的大数据部，集中处理分析所有的日志及业务数据，或直接外包能够提供日志处理的厂商。在大数据分析变得越来越重要的现在，这种做法对企业来说已经成为一种大趋势。那么，日志分析的具体应用场景都有哪些呢?陈军也做了介绍：

　　1、运维监控：运维会产生大量的数据，包括日志和网络流量抓包。而运维需要借助大数据技术分析这些内容，以提高IT运维的水平。

　　2、安全审计：即判断有无黑客入侵。

　　3、用户及业务数据统计分析：企业通过日志分析能够充分解读用户行为，这一点对于电商类企业十分重要。

　　4、物联网：物联网是新兴领域，它的很多新鲜的功能都是基于大数据而产生的，所以它的日志实时分析对它的生存和发展至关重要。

　　以前的日志分析技术

　　在以前，日志并没有被重视起来，其处理方式也有相当多的缺陷。首先，日志并没有被集中处理，而是需要登录每一台服务器，使用脚本命令或程序查看。其次，对日志不够重视导致日志保护不足，日志仅存储于服务器中，磁盘存满日志或黑客入侵等情况下，日志很有可能被删除。并且，即使有相关的日志分析，大多也是做事后追查，而非实时监控分析，导致资源的极大浪费，所以企业开始重视日志，但是，初期大多企业对于日志处理分析的方法并不合适，常使用数据库存储，其检索查询非常麻烦，根本无法适应tb级别海量日志，数据库的schema也无法适应多变的日志格式，全文搜索检查更是无法提供。所以，那时即便人们能够意识到大量数据的重要性，却没有能够挖掘分析的合适方式。

　　目前的日志分析技术

　　经过后期的研究尝试，日志分析的处理方式有了很大改善。日志的实时分析处理逐渐有了相对成熟的方法，但具体的应用仍需要企业选择更适合自己的处理方式，才能发挥日志数据的最大价值。在演讲中，陈军对几种相对流行的日志分析方式分别作出了分析。

　　Hadoop：利用Hadoop技术进行大数据的处理是比较常见的一种方式。但它只是一个框架，需要在上面编写程序，且其查询慢，处理相对滞后，适合做基于日志的用户数据离线挖掘，并不适合做OLAP(On Line Analytic Processing)。

　　Storm：Storm也是开发框架，它的历史悠久，但目前已经停止开发。Storm虽然可做实时处理，且速度甚至能达到几十毫秒，但其吞吐率相对较差，任务调查度差，所以BAT类的企业使用Storm常与Hadoop相结合。

　　Spark：Spark同样只是框架，而非拿来即用的产品。它的生态圈建设十分完整，且有DataBricks的专门支持。其处理方式并不是真正的流处理，而是小的批处理的叠加，且其拥有时间窗，允许客户自设，十分方便。Spark也是陈军推荐使用的方式。

　　Storm vs.Spark Streaming：Storm是真正的流式处理，而Spark Streaming是一个小的批处理，其延时与吞吐率的取舍已经比较成熟。

　　以上介绍的Hadoop、Storm、均为开发框架，并非能够拿来即用的产品，所以都需要开发人员进行研发。而接下来陈军介绍的是能够真正对日志进行实时搜索、分析的方式。

　　日志实时搜索引擎

　　陈军在演讲中提到，日志实时搜索引擎的使用说明日志分析已经进入到了一个不同的阶段。日志搜索引擎的特点是大、快且灵活。大数据的特点就是大，而日志实时搜索分析还需要快和灵活。搜索引擎分析日志，从日志产生到搜索分析出结果只有几秒钟的延时，且它每天能够处理TB级的日质量。搜索引擎能够搜索和分析任何日志。所以日志实时搜索引擎就像谷歌的搜索引擎，能够帮助业务人员查询分析。目前日志分析大部分所用的的技术是hadoop、storm等等，利用实时搜索引擎处理日志还是一种比较独特的方式，接受度相对较少。国外已经有公司能够提供这样的分析，例如国外的Splunk和ELK，而日志易在中国也已经能够提供这样的服务。

　　Splunk公司利用准实时搜索的方法来分析日志，其功能十分丰富，例如Search Processing Language，它类似Linux命令，支持管道，子查询等功能。苹果公司每天400TB的数据就是由Splunk公司来处理。但Gartner 2014年的相关报告显示，Splunk在日志检索时抽取日志的关键字段，检索速度较慢。并且Splunk按每天处理的日志量收费，价格较贵。

　　一些大型的互联网公司会对ELK做二次开发，使用过百台的ELK集群进行日志分析。但是ELK仍存在一些缺陷，由于ELK是三个独立的开源套件，没有统一部署、管理工具，所以其运维管理十分不便。并且它的统计、分析功能有限，告警功能、权限管理功能和自监控功能均为收费功能。

　　在演讲中，陈军分享了日志易在这方面的处理经验，并且展示了日志易的架构。日志易会在进入系统时就抽取关键字段，然后做索引，虽然索引文件大，但检索延时小，并且可在索引前配置解析规则，抽取日志里的任何关键字段。其关键技术为：数据总线(接收、缓存并分发数据)、批处理(长周期数据处理平台)、流式处理(毫秒级数据处理平台)、Key-Value存储(存储计算结果并提供快速查询)。

　　日志管理系统在发展过程中，经历了从日志1.0(利用数据库分析)到日志2.0(利用Hadoop或NoSQL分析)的阶段，而今已经逐渐进入了日志3.0(利用实时搜素引擎分析)阶段。随着人们对日志分析的关注度不断提升，其价值也被更深的挖掘出来，陈军在演讲中建议，在选型日志分析工具时，不要追求多么新潮高大上的功能，一定要与本身的业务相契合。每种方式都会有其优点与不足，选择与自身最合适的一种，或几种结合使用才能将日志的作用充分发挥。