数据库 频道

JUST京东城市时空数据引擎2.0架构实践

  【IT168评论】众所周知,时空数据更新频率高、数据体量大、结构复杂,蕴含着丰富的信息,能够应用于各种城市应用,解决传统方案接不住、查不快、用不好、看不清的问题。

  首先,城市中80%的数据都与空间相关,而且源源不断地产生,传统数据平台应对高频海量时空数据捉襟见肘,无能为力;其次,传统平台面向的是ID聚合场景,而城市应用往往需要基于时空维度对数据进行聚合;

  然后,时空数据具有空间维度上的层次性、邻近性,时间维度上的周期性、趋势性等特点,通用挖掘算法难以直接用于时空数据中;

  最后,传统的GIS引擎面向的是静态数据为主、叠加少量动态数据的场景,当应对动态为主的海量时空数据,传统GIS引擎无法与底层计算平台进行分析联动,也无法清楚地展示出数据的隐含信息。

  在刚刚结束的DTCC2021大会上,京东城市(北京)数字科技有限公司架构师刘钧文发表了《JUST京东城市时空数据引擎2.0架构实践》的主题演讲,并分享了他对时空数据的理解和实践经验。

  ▲京东城市(北京)数字科技有限公司架构师刘钧文

  嘉宾介绍:刘钧文,哈工大本科和硕士,京东城市时空数据组(即JUST团队)2.0引擎架构师,京东城市研究院研究员,负责时空数据平台架构设计及时空索引与分布式相结合研究等工作。

  2018年12月加入京东城市,经历了JUST京东城市时空数据平台从零到一再到广泛对外部署的全过程,并在各个阶段的架构选型以及实现当中都起到了关键作用。现为中国计算机学会(CCF)会员,在数据库顶会中(例如ICDE)发表论文数篇,提交专利多项。其主要参与的JUST京东城市时空数据引擎在多个国家级项目(例如:雄安块数据平台、南通市域治理现代化平台等)中成功落地。

  IT168:传统数据库对于管理海量的时空数据有哪些不足之处?

  刘钧文:传统数据库在一些传统金融领域取得了巨大的成功,同时也证明了自身的能力。但是在时空数据领域,很多时候是无法满足新需求的,主要可以归结为四个方面:

  其一,传统数据库的扩展性不足,无法支持海量时空数据管理的需求;其二,传统数据库对时空数据的查询和分析操作支持不足;其三,传统数据库中没有时空数据模型;其四,传统数据库对异构数据的支持和综合处理能力无法满足需求。

  IT168:能否分享一下,咱们时空数据库的技术优势和典型业务场景。在实践中,如何为业务赋能?带来了哪些价值?

  刘钧文:京东城市时空数据引擎JUST采用先进的数据建模方法、数据存储技术、分布式索引技术和分析技术,预置了多种有效的时空挖掘算法,研发自有分布式GIS引擎,提供了集数据存储、查询、分析、可视化一体的解决方案,具有接得稳、查得快、用得巧、看得深的特点,能够帮助人们便捷高效地管理海量时空数据。

  值得一提的是,JUST团队连续两次获得了ACM SIGSPATIAL十年影响力大奖,发表了国际顶级论文20余篇,申请了专利30余项。目前,JUST已在多个智能城市项目成功落地,也在新冠防疫中也发挥了重要作用。

  京东城市时空数据引擎的技术优势在于快捷而高效地管理海量的时空数据,而且在其中也内置了很多时空分析的算子,用户可以非常方便地使用它们来提供城市里面的时空服务。

  我们典型的业务场景就是与轨迹和路网相关的一系列城市级别的应用。在实践中,我们主要是基于我们的时空分析能力,为一些政府和企业降本增效。

  例如,在疫情防控中,基于我们的数据管理和数据挖掘能力,在海量的人群数据挖掘出了与确诊病人有过密切接触的那些人群。降低了人工排查的成本,帮助了政府机构在疫情最严重的那段时间更好地控制好疫情。

  IT168:如何设计存储引擎、查询引擎、数据加载等系统来更好的满足大规模时空数据所提出的新需求?

  刘钧文:首先,时空数据的结构与以往的数据有很大的差别,比如说时空的多维度,还有不同的业务场景,都需要不同模块进行定制化的适配。

  第二,时空数据的查询和分析都是比较特殊的,很多分析过程在传统组件中都不支持,需要进行大量的补充。

  第三,时空数据在智慧城市这个领域里面用到的会多一些,在这里,解决的很多问题都是要与具体行业深度结合的,因此如何与行业知识进行融合同样也是一个非常重要的需求。

  IT168:您如何看待时空数据库的未来发展和竞争格局?

  刘钧文:目前时空数据库的未来发展会呈现横向和纵向两条线索来进行。

  从横向上来看,智慧城市的建设需要越来越多的数据模型进行参与,因此不同行业内的特征数据也会融入到大的时空数据盘子里面来,比如说建筑行业的BIM数据,因此时空数据库后面会兼容越来越多的数据类型,服务更多的场景。

  从纵向上来看,前期的时空数据库建设依然是依托于经典的技术架构而来的,但是随着技术的发展,它的结构也在变化。

  其中包含了内因和外因,内因主要是时空数据本身需要更加集成,更加高效,也要更加隐私,因此也会与如今的新硬件等技术进行融合;外因主要是随着云计算的发展,越来越多的应用被架设在云上,因此云原生的风潮也会影响到时空数据库的发展。

0
相关文章