图数据库渐成技术新风口,市场前景广阔
与传统关系型数据相比,图数据库这项新兴技术在处理海量数据关联关系时具有非常高的性能优势,能够快速找到实体间的深度关联关系,并且数据模型非常灵活,可以轻松实现添加或删除顶点、边,扩充或者缩小图模型。此外,图数据库模型非常敏捷直观,降低数据挖掘和业务开发门槛,提供生产开发效率。
5G、物联网、AI等技术的发展应用让数据呈指数倍增长,也为图数据库发展提供了更广阔的应用空间。一方面,随着数据经济的发展,在数据量增加的同时,市场上对处理海量、复杂、关联、多变的网状数据的需求不断增加,而传统的关系型数据库产品已经很难胜任这种海量复杂的分析需求。另一方面,图数据库适用的应用场景正在不断增多,在金融交易、征信、反欺诈、社交网络、智能营销、生物工程的使用需求大量涌现。
全球著名咨询机构Gartner的最新预测表明,到2025年,图技术在数据和分析创新中的占比将从2021年的10%上升到80%,促进整个企业机构的快速决策”,“包括图数据库管理系统在内的图技术市场将增长到32亿美元,复合年增长率为28.1%”。
2021年12月出炉的《“十四五” 软件和信息技术服务业发展规划》指出,软件作为信息技术关键载体和产业融合的关键纽带,将成为我国 “十四五” 时期抢抓新技术革命机遇的战略支点。加速分布式数据库、“大规模并行图数据处理” 等关键技术的研发与应用推广已被列为国家软件发展的重要战略目标。
2021年国内外多家图数据库企业在获得了大笔融资,融资用于产品的技术研发和应用的市场推广,以便更好地为客户提供服务,用图数据库帮助客户赋能更多的业务场景,挖掘数据价值。
星环科技自主研发的国产分布式图数据库StellarDB
Transwarp StellarDB是星环科技自主研发的分布式图数据库,兼容openCypher查询语言,提供海量图数据的存储和分析能力,支持原生图存储结构,支持万亿边PB级数据存储。同时,StellarDB具备毫秒级点边查询能力,10+层的深度链路分析能力,提供近40种的图分析算法,具备数据2D和3D展示能力。星环科技StellarDB在金融、政府和社交网络等多个行业领域应用于反洗钱、风险控制、营销等多种场景。
作为一款国产自研图数据库,星环科技StellarDB获得了多项行业权威认可,通过了中国信通院图数据库和图计算平台基础能力两项专项测评,被全球著名咨询机构Gartner、IDC、Forrester等最新权威报告评为图数据库代表厂商,同时在前段时间举办的大数据产业峰会上,被中国信通院评为图计算平台代表厂商。
全面超越国外开源图数据库产品,打造自主可控高性能图数据库平台
自主研发,国产软硬件适配,打造自主可控图数据库平台
Neo4j作为国外开源产品,存在潜在的数据安全和平台安全的问题,即使现在企业版实行闭源,其官网也明确指出,产品出口受到美国法律和法规的限制,对于国内用户来说不能实现完全的自主可控。而在国产化方面,Neo4j在国产化服务器、CPU、操作系统等方面支持能力不足,无法很好地满足国产生态。
StellarDB是星环科技自主研发的国产分布式图数据库,通过工信部电子五所(中国赛宝实验室)源代码扫描测试,自主代码率高达95%以上,并与国内主流软硬件信创厂商完成了兼容适配互认证,支持长城飞腾、华为泰山、浪潮等服务器,龙芯、兆芯、鲲鹏等国产芯片,麒麟、统信等国产操作系统,满足信创验收要求,同时积累了大量国产化平台适配工作的落地经验。
此外,StellarDB通过基于容器的混合部署技术,可支持X86架构和各种国产芯片架构的混合架构,能够运行在异构CPU架构以及多种操作系统混合部署的集群环境中,最大化利用硬件资源,让用户实现国产化平滑替代。
原生分布式架构,轻松实现万亿级数据存储计算
Neo4j作为早期第一代原生图数据库代表,为了满足数据量的极速扩张,也逐步转向分布式架构,但其通过只读多副本复制主服务器原数据的方式来实现分布式,在一定程度上可以提高图数据库的负载能力。但只读副本并不参与集群扩展,图数据存储容量还是受限于主服务器的容量。同时,尽管Neo4j可以通过此方式实现分布式图查询,但是其图数据计算能力依然是基于其单机版本,无法随计算要求进行灵活扩展。
StellarDB原生支持图数据的分布式存储和分布式计算,可满足海量数据的存储、查询和计算要求。作为原生图的关键部分,StellarDB分布式存储引擎通过自研的存储格式和多种高效的压缩算法,并借助于图分区算法,可将数据切割成多个子图分布式存储,拥有良好的可扩展性,能够支撑PB级万亿边的超大图存储,并通过Raft协议来保证数据一致性和高可用性。借助星环分布式计算引擎Quark的计算分析能力,StellarDB的计算能力能够随着节点数目的增长线性扩展,可满足海量图数据的深度查询和计算要求。StellarDB可同时为用户提供实时图查询和离线算法分析,支持海量点边的大图分析。此外,计算引擎和存储引擎同机部署,利用数据本地化特性进一步提升了图计算和分析性能。在某地电信关系图谱场景实现了万亿边规模的存储和稳定运行,真正意义上将万亿级图数据库能力应用落地。
兼容并拓展opneCyper,同时支持SQL混合查询,大幅降低学习和迁移成本
openCypher是Neo4j Cypher语言的开源版本,StellarDB除了支持openCypher,还在其基本语言规范的基础上,根据实际生产实践中所遇到的需求加入了如数据导入,图算法,建模等高效、实用的新语法(Transwarp Extended openCypher(TEOC)),使得用户不仅可以低成本、平滑地替换neo4j,还可以基于TEOC扩展的语法构建更加灵活的应用场景。
另一方面,StellarDB进一步支持了SQL语言多模查询。用户可以使用统一的SQL语言对多模型数据进行数据查询操作,极大地降低了业务开发门槛和学习成本,同时也使得图数据可以灵活地应用于多模型数据的联合应用场景。
超高性能,助力挖掘图数据价值
StellarDB在数据加载、查询和算法性能方面均全面超越Neo4j,达到行业领先水平,帮助用户更快、更高效地挖掘数据价值。
l 数据导入性能
在相同的测试环境中,在Twitter-2010(4100万点,14.7亿边)数据集下,StellarDB的数据导入速度约是Neo4j的2倍。
l 深度关系查询性能
StellarDB在多跳查询方面具有优异的性能表现,在Graph500(2400万点,6700万边)数据集和Twitter-2010(4100万点,14.7亿边)数据集下,StellarDB的三层和六层关系查询性能都大约是Neo4j的50倍以上,尤其在Twitter-2020数据集中,StellarDB在秒级跑出结果,Neo4j在30分钟内未出结果。在实际实施案例中,StellarDB被用于超过十层的深度关系查询场景,进一步证明了StellarDB在深度关系查询场景下的优异性能。
l 图算法性能
在图算法方面,StellarDB内置了近40种图算法,这些算法中包括诸如中心度算法,图直径、半径算法,深度优先搜索算法、社区发现算法等常用的算法。此外,StellarDB还提供了诸如TrustRank等若干Neo4j未支持的算法。
而在性能方面,以常用的图算法PageRank、弱连通子图、强连通子图和LPA算法为例,StellarDB具有显著的性能优势。
在PageRank方面,StellarDB性能是Neo4j的3-6倍,可以帮助用户更加快速高效的实现计算网络中点的相关性。例如在网页排名场景中,StellarDB可以帮助用户更加快速高效的实现网页排名。
在强连通子图方面,StellarDB性能是Neo4j的3-6倍,可以帮助用户更加快速高效的遍历有向图中每个点和每条边。例如在社交网络中的社区发现,洗钱环节的账户闭环查询跟踪等场景,StellarDB通过全局遍历,快速发展某社区人员或有洗钱嫌疑账户的关联关系分析。
在LPA标签算法方面,StellarDB表现出更加优异的性能,在千万级边Graph500数据集下,是Neo4j的 8倍以上,而在十亿级边Twitter-2010数据集下,StellarDB秒级响应,Neo4j在30min内无响应结果。该算法可以帮助用户实现从已标记的节点标签信息来预测未标记的节点标签信息。
易用性大幅提升,助力企业更高效、更便捷的应用图数据
l 丰富接口,多数据源支持
星环科技StellarDB提供丰富的接口,支持Python SDK、JDBC SDK与RESTful API与第三方系统进行对接,并支持从大数据平台如Kafka,Flink,Hive,Spark Streaming,关系型数据库如MySQL、Greenplum等接入外部数据,并且支持Text、ORC、CSV、Parquet等文件格式,满足客户现场更多样、更复杂的业务场景,降低图数据库与外部系统对接工作量和成本。
Neo4j仅支持CSV,REST API和RDBMS的外部数据接入,数据源接入能力不足,无法满足客户现场多业务系统平台对接需求。
l 3D图数据、图算法、运维管理可视化
StellarDB和Neo4j都支持2D可视化能力,例如图数据展示,图布局变化等。此外,StellarDB还支持了图算法的可视化功能,大大降低了用户的学习门槛。而在一些实际应用场景中,3D图数据视图更具表达能力,StellarDB在2D可视化的基础上提供了3D可视化功能,帮助用户更便捷的进行图关系深度探索和分析。在运维管理方面,StellarDB提供可视化的数据导入、集群监控、图查询任务和图计算任务监控等功能,进一步降低用户的运维门槛,实现更加便捷的运维管理。
基于StellarDB的3D可视化视图
更全面的安全保障,充分保障数据安全
随着《网络安全法》《数据安全法》《个人信息保护法》相继公布并实施,数据安全成为企业越来越关注的问题。星环科技StellarDB支持图数据的增量备份和全量备份,以及备份恢复功能等功能,保障数据库内数据安全以及监测图数据库集群健康状态,防止数据存储意外发生。同时,在权限控制方面,StellarDB不仅支持图(Graph)级别的权限设置(增、删、改、查及图管理),还支持了Neo4j不支持的更加细粒度的标签(Label)和属性(Property)权限控制,以实现更加精细化的权限控制。
另一方面,StellarDB还支持日志审计和数据脱敏等Neo4j没有支持的功能。数据脱敏功能提供了一种轻量便捷的数据安全措施,可对某些敏感信息进行数据的脱敏处理,防止隐私数据在未经脱敏的情况下从企业流出,满足一定场景下的监管合规要求。这项功能也可在数据可视化、报表生成等业务场景中发挥巨大作用。StellarDB的日志审计功能,通过日志记录各种事件、数据变化、数据操作等,进行安全合规审查,预防危险事件、操作发生。
丰富的解决方案,助力企业打造一站式数字平台
l 全栈图技术解决方案
星环科技是国内同时具备图数据库、知识图谱平台、图挖掘应用开发能力的企业,全栈能力可以助力企业机构快速构建知识图谱应用。星环科技除了提供自研的分布式图数据库StellarDB,还有自主研发的知识图谱平台SophonKG,帮助企业构建一站式国产知识图谱平台。同时,星环科技还可提供面向业务应用场景的金融风控数智化转型解决方案,帮助用户快速发现风险点和可疑团伙,实现“人机结合”形式的智能化分析、研判和决策。
l 多数据模型联合分析解决方案
StellarDB可基于多模型统一架构,与星环科技关系型分析引擎、宽表数据库、搜索引擎、时空数据库、时序数据库等数据库产品形成多模型联合分析解决方案,实现了从GB 到PB 不同数据量的多源异构数据的快速存取、高效计算和统一管理,一站式地解决企业各类数据管理需求。通过多模型融合技术对外提供统一的SQL 接口、统一的计算引擎、异构的数据存储模型、统一的数据管理系统和统一的资源管理系统,轻松实现跨模型联合分析,简化系统架构,大幅降低开发和运维成本,提高数据处理效率。
原厂专业服务,售后无忧
StellarDB是星环科技自主研发的国产图数据库,可提供及时、专业的技术支持与服务能力,强大的原厂售后服务保障能力,可快速响应客户需求。
Neo4j的产品依靠国内代理商提供销售并提供实施、运维服务;Neo4j在国内主要是运维人员,没有原厂技术研发人员,很难保障SLA。
案例
国内某Top证券公司使用开源图数据库Neo4j构建了企业图谱平台,但随着数据量的不断增加以及管理要求的不断提高,原先批数据处理依赖手工导入的方式操作繁琐,给企业带来很大的管理和成本压力。该过程还需要中断数据库服务,影响数据库业务的正常运行。此外,原系统的数据更新速度,深度关系查询性能以及维护管理等方面也无法满足该证券公司要求。
星环StellarDB与Neo4j的Cypher语法高度兼容,快速实现了多个业务的平滑迁移和上线,结合星环科技的知识图谱平台 SophonKG助力该证券公司打造了全新的一站式国产化企业图谱,满足了企业级的系统建设需要,支撑集团客户画像、风险事件 报告、科创板关联发现以及联机分析等应用场景,实现了分布式集群管理、统一的资源隔离与权限管理、计算性能的优化提升,以及丰富的可视化效果等。