技术开发 频道

Hadoop在电信大数据业务系统中的应用

  展望应用大数据的价值:

  第一、可以提升用户的服务水平。网络记录提供用户的服务水平,可以提供精准的查询服务,还有业务营销。利用现在大数据来去做精准的营销和市场推广的工作,还有决策支持,经营状况的评价,运营商整体的发展策略的制定,以及网络优化和管理。

  第二、另外把线上的数据采集上来之后可以更好的还原,比如说上不去网,可以精准的还原出来上不去网的过程,哪一步出现了问题,可以精确定位到一个网源设备上。

  开放Web数据

  第一方面是提供服务的接口来去开放,例如说目前收到很多垃圾短信,为什么垃圾短信因为是无目标乱发的短信,我们用了用户的行为和画像,我们可以做到精准的发送,现在发了短信可能两分钱一条,我们提供的服务是两毛钱一条短信的服务,但是保证质量,把短信送到最应该送到的人手里。

  电信运营商和互联网企业大数据上的优劣势。运营商有用户真实的信息,这是依靠运营商,办了中国联通、中国移动、中国电信的业务,这是要拿着身份证,我们有实际支付的信息,这个月用了220还是386的套餐是有很准确的数据,包括你的消费水平。互联网企业是难以获得精准用户身份的数据。我们有用户行为全维度的信息,你在访问微博和淘宝,全部流进运营商的网络。互联网企业淘宝是自己的数据,百度也是看到自己的数据,我们有更全面的试图。我们看到过程的数据,但是不知道最终购买了什么,中间看过了什么,中间商品的名字,这个我们是很清楚的,我们觉得是优势互补的过程。

  大数据挖掘应用 可以做到智慧的运营

  可以做离网的预警,分析离网用户。在离网前几个月用户消费的行为之后,构建一个合适的模型,就可以提前一到两个月对哪些用户离网做个预警。

  另外还可以做差异化的服务。个性化的推荐,有的推荐可能是实时的,有的是非实时的,我们有了数据挖掘的数据,再配合前台的数据更新处理,这两者结合之后,我们知道用户上下文的信息,现在在哪?几点钟?在什么位置上?你是个什么样的用户类型?这几个方面结合起来之后整个个性化的推荐是更加精准。

  智能广告的投放,目标是怎样的、投放给谁、通过什么渠道去投放,以前的运营商接触用户的渠道是手机号码,我们通过网络行为的数据,可能会知道微信号码,这样有更多的开放的渠道,这些开放的渠道,从运营商的角度也可以开放给第三方应用,第三方应用通过调用服务也可以利用渠道去接触用户。

  我们对流量的拉动,包括自营业务的对包分析,我们的沃商店和91助手的差距,以及精细化的运营,LTE决策的支持等等都取得了成效,这些成效还是初步的,更大的前景是在后面。

  小结

  中国联通依托于开源的Hadoop技术,构建了上网数据为核心的数据平台,这个数据平台目前是全球通信行业中首次实现了全网记录的采集和集中存储,也是首次向用户提供实时查询的服务,到目前为止还没有第二家运营商做这件事。

  依托大数据平台,实现了客户服务的创新,一定意义上解决了透明消费的问题,让用户放心消费。依托大数据平台,应用到运营商的网络规划和建设方面,再有初步构建了大数据分析和挖掘平台,这个平台为下一步会进一步构建大数据分发和开放的平台,把数据开放出去跟合作伙伴共享,当然共享是在保护用户隐私的前提下,另外积极扩大数据来源,现在要做限定数据的采集、固网宽带数据明年这个时候已经采集上来了,还有其他数据的采集。

  采用Hadoop的体会

  第一不要低估数据量增长。第二做持续不断的优化,构建专职的团队,要进行系统优化,淘宝优化的方式可能跟联通优化的方式是不同的,因为各有各的业务的特征。再有重视Hadoop集群内部网络的互联,整个网络Hadoop集群运行的稳定和高效的数据挖掘是很重要的。之前网络方面出了一些问题,就导致了整个集群在一段时间运行越来越慢,直到整个集群崩溃掉,需要进行重新启动,有这么一个周期性的过程,很多的问题是网络引发的。统计分析的查询做适当分离,我们的系统去提供数据的实时入库和查询,当做大量统计分析的时候对入库会产生影响,可能是入库的挤压,对查询的影响不大,我们只在上面跑一些定期的任务,这些定期任务的结果会构建在另外的集群上,数据库的结构设计要做好充分的准备工作。

2
相关文章