【IT168 专稿】2016年5月12日,第七届中国数据库技术大会(DTCC 2016)在北京国际会议中心拉开帷幕。作为国内数据库与大数据领域最大规模的技术盛宴,大会第一天围绕数据库架构、NoSQL技术实践、数据加速技术、实时计算与流计算等展开了深入探讨,场面更是异常火爆,国内外顶尖专家汇集于此,共同探讨大数据领域那些前瞻性问题。
风电行业需要实时监控风电运行状况给出告警信息;交通行业实现“秒”抓套牌车。互联网+的时代下,流计算显然已经渗入各行各业。流计算对实时性要求非常高,既然如此为什么采用Stream SQL?其基本功能是什么?PLSQL在其中扮演着什么角色呢?在实时计算与流计算专场,季钱飞对流计算整体架构进行了深刻的剖析。
Spark Streaming与StreamSQL
在Spark Streaming与Stream SQL的这场博弈中,星环科技最终选择了Stream SQL。季钱飞表示,前者入门门槛极高,有经验的程序员未必能胜任;其次迁移成本高,原有业务基于SQL/PLSQL;产品化程度差,需要有Spark和Hadoop经验的专家进行运维。从客户的角度来说,用户可能不会使用BlockingQueue;没有结果输出可能有各种原因,但茫茫代码海一行日志都没有,无从下手;出问题之后各种分析,最后很可能只是磁盘满了。基于这些问题,StreamSQL被采用,并且性能上有了极大的提升。
StreamSQL几大功能
ETL现在深受追捧,StreamSQL将实时数据抽取到Hadoop,帮助用户搭建ETL;实现流上的Ad-hoc查询;可用于统计报表。除了上述三大主要功能以外,其还提供了几大基本功能,比如语法支持、多流应用共享输入、输出到流、数据字段切分与聚合。另外StreamSQL可以运行抽象的StreamJob,SQL持久化,方便启动;应用隔离Application。这几大功能使StreamSQL使用方便,性能更优,同时避免二次开销节约资源。这也是其深受市场欢迎的主要原因。
PLSQL的使用
季钱飞表示,StreamSQL支持流上的PLSQL。季钱飞列举期货交易查找交易ID的实例,对PLSQL的两大基本功能------流控、HA进行了讲解。对于Adhoc查询,他说,就好像高架入口发生拥堵,要想及时查明拥堵原因,应用Adhoc查询,用户可以基于当前的数据流尝试不同的操作,从而及时调整业务(比如是不是有很多外牌车进入等等)。PLSQL的另外一个高级功能---存储层适配器Stargate:
季钱飞通过举例,对StreamSQL的架构进行了剖析。除此之外,他也表示StremSQL相比于其它架构而言,成本更低,性能更优。以上就是季钱飞的精彩演讲。
▲更多大会资讯,请查看大会专题:http://www.it168.com/redian/16DTCC/