技术开发 频道

DMETL快速入门之数据同步

  【IT168 文档一、DMETL介绍

  DMETL是达梦数据库有限公司研制开发的具有自主版权的、商品化的数据交换平台,可以快速地实现对基于数据的企业应用集成。DMETL通过建立底层数据交换平台来联系整个企业的异构系统、应用、数据源等,实现在企业内部的ERP、CRM、SCM、数据库、数据仓库,以及其它重要的内部系统之间无缝地共享和交换数据。

  1、DMETL功能特点

  DMETL基于ETL技术,实现多个异构数据源之间的数据的采集、传输、转换和装载。数据交换的流程还包括一组可以调度的数据加工插件,以便在进行数据传输前,对采集的数据做加工处理。数据加工组件是一组接口相同的插件,它实现某个特定的数据加工服务,例如数据规整、数据合并、数据过滤等。由于采用插件式的方式,因此可以方便的装配和卸载。

  DMETL具有良好的可扩展性。系统在架构上采用可扩展的数据源适配器和消息适配器来支持异构数据源的数据交换。通过对数据源适配器的扩展,可以增加系统所支持的数据源,比如JDBC数据源、文件数据源、FTP数据源、XML数据源。通过对消息适配器的扩展,可以增加系统所支持的第三方消息中间件,如JMS。特定于JDBC数据源,系统提供多套JDBC适配器,可以通过不同的JDBC适配器与各种数据库相关联。

  DMETL支持全量和增量的方式交换数据,对于增量抽取方式,提供多种变化数据的捕获方法,包括触发器、时间戳、MD5算法。根据不同的数据源可以选择相应的变化数据的捕获方法。

  DMETL提供可视化的管理和设计工具,数据源的配置、数据交换的流程(数据的来源、数据加工工序、消息传输、数据的目的地)、数据清洗方法等,都可以通过该工具进行配置,并提供方便直观的数据处理流程图的编辑功能,支持通过拖拉的方式来完成流程设计。

  系统采用Java语言编写,因此具有跨平台特性,能运行在当前大多数主流操作系统上。

  2、DMETL应用范围

  DMETL是提供数据中心和企业级集成应用的平台软件,产品具备数据交换的各项基本功能,可广泛应用于企业应用集成、数据中心建设、数据加工处理、数据仓库建设等场景。 目前,DMETL已在湖北省人口库、宏观经济库、武汉市目录与交换体系、商务部产业安全数据库、浦东新区数据中心、以及山东、河北等多个项目中运行使用,系统稳定可靠,性能良好。

  以下以一个模拟的案例,让大家快速了解DMETL的基本功能和使用方法。

  二、模拟案例

  今年以来,甲流H1N1肆虐全球,国内患者也逐渐增多,某市卫生部门启动紧急预案,要求各医院对感冒病人进行登记,隔离观察,对确诊甲流的病人,要及时治疗。这些数据必须每天报送市甲流中心办公室,甲流中心办公室需对确诊甲流的病人,建立档案,补充病人详细个人信息,以便及时对病人家属及其居住所采取防范措施。

0
相关文章