- 使用Perl SDK获取VMware虚拟化平台信息
云计算做为当前IT技术的主流,已经深入各行各业。而虚拟化做为其基础,已经被做为部署企业公有云、私有云的基础架构,虚拟化技术已经普及到我们大多数的公司企业中。在此背景下,相应的也就需要我们更加智能,更加高效的维护其不同的虚拟化平台,例如VMware,PowerVM,OpenStack等主流虚拟化技术平台。
覃里 · 2016-10-14 15:29 - IBM Bigfix基于Windows的安装部署
近年来云计算业务发展迅速,尤其是基于IAAS的基础架构云,使得操作系统的创建颇为容易,只需要点一个按钮就可完成操作系统创建,这就使得机器数量的扩展极其容易。面对机器体量的迅速扩大,安全威胁也同样高速演进变化,这就促使防御技术也要快速改善。
覃里 · 2016-10-13 17:24 - 从Oracle DBA到PostgreSQL布道者
周正中,网名德哥 ( digoal ),PostgreSQL 中国社区发起人之一,PostgreSQL 象牙塔发起人之一,DBA+社群联合发起人之一,10余项数据库相关专利,曾就职于斯凯网络,负责数据库部门。主导了集团数据库系统、存储、主机、操作系统、多IDC的架构设计和建设;完成了对数据库HA、容灾、备份、恢复、分布式、数据仓库架构设计和建设;数据库管理和开发的标准化体系建立。
田晓旭 · 2016-09-07 08:37 - 新手扫盲必读:深度学习平台发展及应用
2006年,Hinton等人第一次提出了“深度学习”的概念,发展至今,深度学习已经是当今科技圈最火最潮的词。但是,很多人知其然而不知其所以然,华为大数据算法专家涂丹丹在创客168的第七期活动中结合她的工作经历,和我们分享她对深度学习的独到见解。
田晓旭 · 2016-09-06 00:00 - 基于JQuery Mobile的Web App实践
JQuery Mobile是针对智能手机和平板电脑创建的移动Web App开发框架,它的出现填补了JQuery在移动设备应用上的缺憾,jQuery Mobile使用了极少的HTML5、CSS3、javaScript和Ajax脚本就可以完成页面的渲染,秉承了jQuery“写更少的代码,做更多的事情”理念:他可以通过一个灵活、简单的方式来布局网页,并且兼容所有的移动设备。
田晓旭 · 2016-08-31 10:34 - 邓焕畅谈大数据时代下的攻防
今天我给大家分享的议题是大数据下的攻防,首先自我介绍一下,我之前就职于360,一直从事网站方面的安全研究,离开360后,成立一家新公司,叫白帽汇。白帽汇主要是从事威胁情报和大数据安全,给企业提供尖端的安全技术服务,确保企业不被入侵、不被脱库。
田晓旭 · 2016-08-22 17:29 - 侯圣文:Oracle ACE总监十年风雨数据路
大家好,我是恩墨学院院长侯圣文,今天我给大家带来的演讲是十年风雨数据路,从 Oracle DBA 到 ACE 总监的成长之路,我将和大家分享我的生长过程,希望能够给大家有一些启示。这么多年,我一直坚持一个信念,那就是要做一个有态度、有温度、有深度的DBA。
田晓旭 · 2016-08-20 09:37 - NewSQL数据库大对象块存储原理与应用
企业内容管理(Enterprise Content Management,ECM)系统是一种管理非结构化内容的系统,传统代表为EMC Documentum或IBM Filenet等ECM解决方案。随着大数据技术的越发普及,越来越多的客户开始尝试把存放在传统ECM系统中的文件、图片、影像等内容向开放分布式平台迁移。一般来说,用户可以选择的方案根据场景与数据类型来看可以分为几类,包括HDFS方案、对象存储方案、NAS方案、以及分布式数据库方案等。
田晓旭 · 2016-08-19 10:09 - 详解K-DB RAC集群下的锁机制管理(四)
在前三篇文章中,已经完成了对K-DB所技术的完整概述,包括K-DB基本架构、锁技术的存储、构成、运行机制等,读者至此应该对K-DB锁相关技术已经有了完整的了解。锁技术的最终的目的是协调冲突资源的使用,本文将列举几个典型的锁技术的使用场景,帮助读者更好的理解K-DB的具体运行机制,最后本文也会用测试数据来证明K-DB锁的高效性和稳定性。
田晓旭 · 2016-08-05 09:41 - 详解K-DB RAC集群下的锁机制管理(三)
这是关于K-DB锁技术的最后一部分,此前,陆续介绍了K-DB的演进、基本架构、锁目录的存储以及同数据块映射关系的建立等。本文将介绍K-DB锁包含的信息和运行机制,也就是每条锁到底包含哪些信息,以及每一条锁是如何建立和执行和、取消的。
田晓旭 · 2016-08-04 09:00 - 详解K-DB RAC集群下的锁机制管理(二)
数据库锁专门协调不同进程间的资源冲突,系统资源冲突的类型、频率、复杂度等决定了锁技术的发展,而资源冲突的情况又与数据库系统的基本架构高度相关。例如,在standby架构下,虽然以多节点集群运行,但是实际各个节点轮换对资源进行操作,资源冲突更多的体现为节点内进程或者是线程之间的冲突,相对简单,与之相应的锁机制也就简单。而K-RAC同时支持多个节点共同操作,由此带来的资源冲突问题远比其他架构更为复杂。
田晓旭 · 2016-08-02 17:26 - 详解K-DB RAC集群下的锁机制管理(一)
集群功能是数据库产品高可用性的重要一环,集群架构是保障业务连续性的核心架构,体现着数据产品的高可用性和技术水准。但在业界集群架构有多种方案和技术,其中最具稳定性、最能够保障业务连续性的架构当属于RAC集群,即Real Application Cluster。RAC集群特点是多个数据库节点共享存储,节点多活,可同时处理业务请求,具有负载均衡和故障转移两大特性。
田晓旭 · 2016-08-01 16:58 - 4款实用又有格调的免费数据清洗软件
Excel绝对是大多数人的数据管理启蒙工具,它可以很好的对数据进行存储、清理和分析。其实,严格来说Excel并不是免费的,但是今天已经没有人会付费使用。因为一般新买了PC机,Excel就已经预装在了电脑里。如果电脑里没有预装的Excel,大多数人也会选择使用盗版软件,但是盗版有风险,使用需谨慎!
田晓旭 · 2016-07-29 08:09 - 传统数仓转型,如何避开数据处理的深坑
我今天演讲的主要分三个部分,第一部分是分享一下我在传统数据仓库的一些数据处理技术和配置方面的思考;接下来讲一下大数据环境下,公共数据和行为数据的数据处理技术;最后会讲一下从传统数据仓库迁移到大数据数据仓库的数据处理实践思考及建议。
田晓旭 · 2016-07-20 00:00 - RDBMS数据迁移过程中如何保护数据
随着云时代的到来,各种应用层出不穷,技术发展日新月异,数据类型海量复杂。为了保持竞争力,企业必须跟上最新的技术趋势,因此数据从RDBMS迁移到NoSQL,一定是大多数企业的必要之选。
田晓旭 · 2016-07-19 08:24 - Apache Trafodion事务和分析一体化引擎
我今天给大家讲的是一个开源项目——Apache Trafodion。最早的关系型数据库例如Oracle,它们典型的特点是SQL非常厉害,存储引擎一般固定在特定的硬件上。后来出现了Hadoop,使用通用的硬件去扩展分布式。传统关系型数据库的特点是又小又快,Hadoop的特点是又大又慢,这其中的小和慢都是相对来说的,小是指传统数据库不能有Hadoop那么大的数据量,而MapReduce批处理方案的速度也无法和传统数据库的处理速度相比。
田晓旭 · 2016-07-09 23:29 - 软件性能工程在数据库优化中的应用
《软件性能工程》本身是在探索用一种相对体系化和系统化的方式来分析性能问题。关于性能,关键的两个点:一个是资源,一个是对资源的使用。做性能优化最低级的方式是当响应时间、吞吐量达不到要求时,通过增加资源的方式例如增加机器、增加硬件来提高性能。但增加资源是有成本的,所以我们还是要考虑怎样在不增加资源的情况下更好的利用资源提高程序性能进而达到系统对响应时间、吞吐量的要求。
田晓旭 · 2016-07-08 00:00 - 为何HDFS是大数据分析的软肋
分布式文件系统是大型分析非常重要的一环。即使你是在使用Spark,你仍然需要将大量的数据快速的存入内存,所以文件系统一定要可以是高速率的。但是,HDFS并不像它标榜的那样好,它是大数据分析的薄弱环节。
田晓旭 · 2016-07-05 00:00 - Monitoring Apache Spark 面临新挑战
大数据处理已经进入了新时代,数据的复杂度越来越高,人们对数据实时处理的要求也越来越高。新时代带来了很多的新改变,但是最大程度创造数据价值是大数据时代不变的宗旨。随着实时数据处理的用例越来越多,实时数据处理框架也丰富起来,例如, Apache Spark、Storm、 Heron、 Flink、Apex、 Kafka Streams 等等。每一种框架都有其特定的适用场景,但是框架多样化也带来了一些问题,增加了数据处理的复杂性,增加了运营难度。
田晓旭 · 2016-06-29 08:06 - Apache Kylin大数据分析平台的演进
我是来自Kyligence的李扬,是上海Kyligence的联合创始人兼CTO。今天我主要来和大家分享一下来Apache Kylin 1.5的新功能和架构改变。Kylin的定位是Hadoop大数据平台上的多维分析工具,最早是由eBay在上海的研究实验室孵化的,提供ANSI-SQL接口,支持非常大的数据集,未来期望能够在秒级别返回查询结果。Kylin于2014年10月开源,现在已经成为为数不多的全部由华人主导的Apache顶级项目。
田晓旭 · 2016-06-28 00:00