技术开发 频道

专访蓝讯张月:Hadoop已成大数据代名词

  【IT168 专稿】2013年11月22-23日,作为国内知名专注于Hadoop技术与应用分享的大规模行业盛会,2013 Hadoop中国技术峰会(China Hadoop Summit 2013)将于北京福朋喜来登集团酒店隆重举行。届时,来自国内外各行业领域的近千名CIO、CTO、架构师、IT经理、咨询顾问、工程师、Hadoop技术爱好者,以及从事Hadoop研究与推广的IT厂商和技术专家将共襄盛举。

Hadoop已成大数据代名词
点击进入2013 Hadoop中国技术峰会官网

  Haoop中国技术峰会由China Hadoop Summit专家委员会主办,由IT168、ITPUB、ChinaUnix协办,渠达传媒负责承办。本届大会将秉承“效能、应用、创新”为主题,旨在通过开放、广泛的分享和交流,着力于促进中国企业用户提高应用Hadoop的能力和水平,降低Hadoop技术应用门槛和投资预算门槛,推广大数据的应用价值。

  在此次大会即将召开之际,IT168记者有幸采访到了本次大会的组委会专家,蓝讯大数据架构师、Cassandra专家、开源Cassandra推广者张月老师,其2007年加入蓝汛chinacache至今。2010年加入数据平台组参与设计、开发基于Hadoop新系统架构,涉及Hadoop、Cassandra、Redis等相关技术,目前集群每日处理数据规模达到30TB。

Hadoop已成大数据代名词
蓝讯大数据架构师、Cassandra专家、开源Cassandra推广者张月老师

  据悉,目前张月老师在chinacache数据平台组工作,内容包括数据平台设计开发及运维。“我们应用Hadoop为客户端提供日志存储、下载和分析的功能。同时使用Cassandra提供高可用查询服务。”张月老师介绍说。

  Hadoop已成大数据代名词

  如今,Hadoop基本可以认为是大数据的代名词了,有大数据的地方,一定少不了Hadoop相关技术。张月老师表示,“目前包括互联网公司、广告类公司、游戏类公司,还有我了解到的地理信息类公司,都开始使用Hadoop解决数据存储和计算的问题了。随着数据的增长以及大家对其的认识,Hadoop等相关大数据技术还会快速发展。”

  而目前,应用Hadoop的公司都是具有一定数据规模的公司,这本身就决定了其岗位的稀缺性。目前公司要想招到一个独当一面的Hadoop人才非常不容易,“我觉得有两点原因:一、学习门槛高;二、现阶段岗位还是少,我在10月11日通过51job搜索“北京 + 最近一个月 + 职位名包含hadoop”一共才57个结果,在猎聘网相关查询结果有约100条。”

  Hadoop的运维更重要

  "Hadoop的运维更重要",因为它绝对不是像tomcat那么简单的软件。一旦应用Hadoop后,就会发现各种问题、瓶颈、困难都来自运维,而非研发。Hadoop本身非常复杂,所以能否成功应用它的关键在于有人能Hold住集群,让它稳定运行,出问题可以尽快解决。此外,张月老师也强调,并不是说开发不重要,只是Hadoop生态系统中Hive、Pig这样的软件能够大大降低开发成本,所以开发通常不会成为瓶颈。

  据悉,在本次大会上,张月老师将分享的主题是Cassandra相关技术,是一个NoSQL数据库,其经常用来和Hbase(基于Hadoop的数据库)比较。张月老师认为,Cassandra的学习、运维成本都低,最近两年在国外发展飞快,通过它可以解决海量数据存储、高并发读写、高可用服务问题。“我想给大家多提供一个解决大数据问题的选择。我从2011年开始就一直参加大会,它给我的帮助是开阔视野,让我知道别人是如何做的。”

  Hadoop中国技术峰会2013是国内基于Hadoop平台的第一次全产业链的大数据行业技术峰会,大会将围绕Hadoop生态系统展开全方位的技术分享、专题讨论与成果展示。大会议题将涉及以下七大方面:Hadoop技术创新、Hadoop基础架构部署与优化、虚拟化与Hadoop、Hadoop在互联网领域的应用、Hadoop在非互联网行业的应用、Hadoop与企业现有IT架构的整合、大数据创业与投资。

  更多精彩尽在2013年11月22~23日的Hadoop中国技术峰会(China Hadoop Summit 2013),北京永泰福朋喜来登酒店。

  现在报名即可享购票优惠。

0
相关文章