邵寨煤矿是山东能源淄矿集团旗下的建设项目,是甘肃省煤电一体化建设的主阵地,以建成集约化、数字化、高效率和环保型的智慧矿山为战略目标。
邵寨煤矿采用东方国信CirroData-TimeS分布式时序数据库和CirroData-OLAP分布式分析型数据库支撑数据综合管控平台,对生产过程中产生的全量数据进行存储和计算。
一、项目背景
在建设数据综合管控平台之前,邵寨煤矿生产环境中有数十个子系统,各系统数据独立存储,对于某些设备产生的时序数据,用传统关系型数据库难以收集存储,仅能够对设备进行实时监控,历史数据得不到沉淀。数十个子系统呈烟囱状相互独立,各系统间数据难以打通,形成信息孤岛,数据资产难以有效地保存、分析挖掘、发挥价值。
为了解决这种情况,打破各单一子系统之间的数据壁垒,实现各类子系统数据之间的互联互通,北京东方国信为邵寨煤矿设计并搭建了符合工业互联网架构的智慧矿山数据综合管控平台,具备为智慧矿山建设提供数据集成、存储、分析和决策的能力。
二、解决方案
邵寨煤矿数据综合管控平台接入原有四十余个子系统数据,边缘侧设备产生的时序数据通过Kafka消息队列进入Flink进行清洗、过滤,最终进入CirroData-TimeS分布式时序数据库3个节点的集群,实现海量时序数据的高可用存储与计算。目前邵寨煤矿时序数据库集群共存储时序数据2千多亿条,单日新增32万数据点,单表数据存储最高可达1000列,两百并发秒级查询。
除了对时序数据的处理,平台还接入边缘侧产生的准实时数据,以及业务信息化系统中的结构化数据,最终连同时序数据一同汇入CirroData-OLAP分布式分析型数据库集群。基于智能算法模型对数据仓库中的数据进行查询、计算和分析,使煤矿数据资产得到了充分的价值体现。
三、用户收益
邵寨煤矿数据综合管控平台的建成和投入使用,使邵寨煤业智慧矿山建设逐步由单个系统智能化向多个系统智慧化方向发展。
CirroData-TimeS分布式时序数据库实现了对边缘侧设备产生的海量时序数据的存储管理,实现数据资产积累;
CirroData-OLAP分布式分析型数据库实现了对智慧矿山全量数据的海量存储,集群能够根据计算或数据量的增长实现水平弹性扩展,MPP计算框架为挖掘数据资产价值提供强大的分析能力;
分布式数据库集群提供数据多副本存储功能,通过数据冗余实现服务高可用和数据高可靠的能力;
CirroData-TimeS的高压缩存储算法极大地节省了存储空间,为客户节约成本。 CirroData-TimeS是基于开源项目Apache IoTDB开发,东方国信深度参与的企业版国产时序数据库。产品依托北京东方国信科技股份有限公司强大的技术能力与二十余年行业服务经验,为客户提供7X24小时有力运维支撑保障,以及不同行业产品解决方案。
目前CirroData-TimeS团队有2名Apache IoTDB PMC成员,产品已在多个工业项目中成功落地。