IT168首页 | 产品报价 | 渠道168 | ChinaUnix社区 | ITPUB社区 | OA维修站 | 文库 | 博客 | 会议 | 自测 | 专题 | 订阅 | IT选型顾问
技术开发
热点推荐加盟IT168选型顾问俱乐部 获享5大权益

开源编程频道

现如今,人们对基于HBase的产品的读写速度要求越来越高。在理想情况下,人们希望HBase 可以在保证其可靠的持久存储的前提下能并拥有内存数据读写的速度。为此,在HBase2.0中引入Accordion算法。

22日更新
Accordion :一种HBase内存压缩算法介绍

大数据的热度在持续的升温,继云计算之后大数据成为又一大众所追捧的新星。我们暂不去讨论大数据到底是否适用于您的公司或组织,至少在互联网上已经被吹嘘成无所不能的超级战舰。好像一夜之间我们就从互联网时代跳跃进了大数据时代!关于到底什么是大数据,说真的,到目前为止就和云计算一样,但是您至少

21日更新
基于Hadoop大数据平台实施整体架构设计

经过这么多年的发展,已经从大数据1.0的BI/Datawarehouse时代,经过大数据2.0的Web/APP过渡,进入到了IOT的大数据3.0时代,而随之而来的是数据架构的变化。

18日更新
标签:Hadoop 大数据 IOT
下一代大数据即时分析架构——IOTA架构

本文介绍如何在E-MapReduce上使用Kafka Connect实现同步RDS binlog数据。在我们的业务开发中,往往会碰到下面这个场景:业务更新数据写到数据库中,业务更新数据需要实时传递给下游依赖处理,所以传统的处理架构可能会这样:

14日更新
标签:Hadoop 大数据
Kafka Connect如何实现同步RDS binlog数据?

传统的Hadoop架构是建立在相信通过大规模分布式数据处理获得良好性能的唯一途径是将计算带入数据。在本世纪初,这确实是事实。当时,典型的企业数据中心的网络基础架构不能完成在服务器之间移动大量数据的任务,数据必须与计算机共存。

07日更新
标签:Hadoop 大数据
Hadoop 3.0版本测试,终将计算与存储解耦!

4月30日,阿里云发现,俄罗斯黑客利用Hadoop Yarn资源管理系统REST API未授权访问漏洞进行攻击。Hadoop是一款由Apache基金会推出的分布式系统框架,它通过著名的 MapReduce 算法进行分布式处理,Yarn是Hadoop集群的资源管理系统。

07日更新
预警:黑客利用Hadoop Yarn未授权访问漏洞

2017年,Gartner的一份《2017年数据管理技术成熟度曲线》报告极其明显得标识出Hadoop即将进入衰落席。对此,IT168走访了国内一系列大数据厂商,在过去几个月,我们共同探讨了Gartner提出该观点的依据、用户对Hadoop生死存亡言论的看法、Hadoop生态中各大组件的生命力以及其他可能替代品的发展现状,并且

03日更新
抛开Hadoop生死论,我们可以聊聊生态演进!

2013年,Gartner研究总监Svetlana Sicular在其博客发表了一篇题为“大数据光环的幻灭”的文章,暗指Hadoop即将过时,大数据泡沫即将随着用户失败案例的增多而破裂。

28日更新
走访Hadoop发行商:Gartner看衰论断如何理解

关于Hadoop生死的讨论已经进入后半场,KPI当前,企业继续专注自己的业务发展,厂商继续包装自己的产品,重心都不再是Hadoop的命运走向。在这之中,我们可能忽略了一些问题,比如Hadoop核心组件与边缘组件的边界正在变得越来越清晰;Spark、Flink正在逐渐成长,生态渐渐庞大;可供选择的组件越来越多,企业

28日更新
Hadoop或衰落,但核心组件生命力旺盛!

国内很多人对Hadoop失宠的言论都不屑一顾,认为无非是常规的厂商运作和技术炒作。开篇,我们有必要了解一下整个事件导火索的这篇Gartner报告——《2017年数据管理技术成熟度曲线》,这篇报告指出Hadoop整个堆栈的复杂性与可用性导致企业重新考虑是否将其纳入基础架构规划中,Hadoop可能在到达“生产成熟

23日更新
观点:Gartner只是否定Hadoop一体化平台模式

从最初的被禁发酵至如今的生死存亡大讨论,中兴事件值得我们反思和有所行动。这个问题是具备普遍性的,中兴不是第一家,也不会是最后一家,因此需要引起更深层次的思考以及全行业的投入。不仅是硬件问题,此次被禁售的还有部分软件,开源软件同样面临授权问题,无法掌握这些领域的自主知识掌权始终是悬

23日更新
大数据基础软件厂商请小心“开源”陷阱!

3月25日,Hadoop 3.0.1版本正式发布,这也让Hadoop正式迈入3.0时代。时隔两周,Apache Hadoop 3.1.0正式发布。与之前的版本(hadoop-3.0)相比,新版本具有许多重要的增强功能,比如支持GPU和FPGA。

09日更新
时隔两周,Hadoop 3.1版本发布支持GPU和FPGA

前不久,笔者整理了部分一线互联网公司的大数据平台架构图(感兴趣可自行查看《摸底10余家一线互联网公司大数据架构图:Hadoop渗透力太强!》),引来不少用户的关注。从文章可以看出:Hadoop生态系统对互联网公司大数据平台架构的渗透力是极其强大的。

24日更新
标签:Hadoop 大数据
替代品不少,大家坚持用Hadoop的原因是什么?

NoSQL数据库在体系结构和功能上各不相同,因此选择最适合你业务所需的类型是需要做些功课的。

21日更新
标签:数据库 NoSQL
如何正确选择NoSQL数据库?选型要点有哪些?

国内外对Hadoop生态系统的生存状况争论不休,既然如此,我们不妨摸底调查一番,看看国内一线互联网公司(具备自我搭建大数据平台能力的厂商)的大数据平台是如何搭建的?是否基于Hadoop生态系统?Hadoop的存在感有多少?庞大的Hadoop生态系统中又有哪些组件真正脱颖而出了呢?(本文内容来源于公开资料整理)

19日更新
Hadoop生态系统应用状况大调查:互联网篇!

计算机世界充斥着大量先动者的产品,但最终都会被追随者所取代,后来者从创新者的错误中学习并继续发展。我相信这是Hadoop的命运,因为Spark和Cassandra等已经在大数据社区获得了持续发展的动力。

07日更新
标签:Hadoop 大数据
Ness SES首席技术官:最终,Hadoop老了!

2017年对于NoSQL来说是很有趣的一年,大数据市场充满着机遇同时也充满着变数。所以年末岁初,我们邀请了Couchbase的首席架构师Perry Krug来一起谈谈未来NoSQL的发展、市场动态以及Couchbase的未来。

09日更新
标签:NoSQL
Couchbase是目前最好的NoSQL数据库平台

了解一个开源工具,可以有效帮助人们解决NoSQL在数据输入、处理、输出方面困难。大数据时代,不了解NoSQL数据库的程序员大抵应该是没有的吧!

02日更新
NoSQL为什么需要模式自由的ETL工具 ?

Apache软件基金会宣布了分布式计算开源软件框架第三版。Apache Hadoop 3.0是自2013年Hadoop 2.0发布以来的第一个主要版本。Apache Hadoop 3.0的项目经理Andrew Wang表示,Hadoop 3.0是该项目的一个重要里程碑,也是迄今为止最大的发布版本。它代表了自Hadoop 2.0以来五年中数百名贡献者的共同努力。他很

19日更新
迄今为止最大版本:Apache Hadoop3.0发布

Apache已经发布了包含YARN federation ,基于HDFS路由器集合和资源估算器等新功能的Hadoop 2.9。Hadoop软件库是一个框架,允许使用简单的编程模型跨计算机集群分布式处理大型数据集。它旨在从单台服务器扩展到数千台机器,每台机器提供本地计算和存储。YARN是作业调度和集群资源管理的框架,对HDFS文件

27日更新
Hadoop 2.9新增资源估算器等五大亮点!
金秋十月 与你饮酒论道
热门文章

热门活动

it168文库会议频道上线

热门标签

热点推荐