达梦数据交换平台(DMETL)是武汉达梦数据库有限公司在十余年数据处理经验的基础上,研制的具有自主 知识产权的、通用的、平台型的数据集成产品。DMETL采用分布式多执行器架构,支持hadoop、spark以及原生执 行器三种数据数据处理模式,适用于各类数据整合、交换以及共享项目,目前已被广泛应用于公安、信用、电力、 国土、住建、社保、政法、政务等多个行业的数据中心项目中,为项目建设和运营提供从数据采集、清洗加工、数据 质量检测到快速装载的全面支持。
产品特点/Characteristic
全面的数据源支持
除了常见的关系数据库以及文件数据源以外,还提供了对于新型非关系数据源的全面支持如Hadoop、Hive、HBase、 MongoDB、Kafka、Elastic Search等。
完善的增量数据捕获支持
提供多种增量数据捕获方式,用户可以根据应用场景灵活选择。
数据快速装载
支持各种数据源的快速并行装载,满足用户海量数据的快速入库需求。
可视化数据清洗转换
支内置了丰富的可视化数据转换规则,包含简繁体、汉字拼音、乱码处理、字符集转换、中文数字等,使得用户能够以所见即所得的方式完成数据清洗转换规则的配置,提升工作效率。
批量流程生成
支持基于模板的批量流程生成功能,快速生成大量数据处理流程,节省项目实施工作量。
负载均衡与故障恢复
自动分配任务到较为空闲的集群节点运行,故障节点的任务可以自动转移到非故障节点运行。
统一运维监控
统一监控系统中各个节点的运行状态,资源消耗,支持在线系统升级以及节点的远程启动、停止和配置。
hadoop和spark支持
支持将数据处理流程转换为Hadoop或者Spark作业,使得用户无需编写代码即可利用已有的大数据平台进行海量数据 的计算和处理。
数据质量
支持在线数据质量检测,数据质量检查规则可重用,能够生成数据质量统计报表。
便捷的应用集成 提供丰富的restful api,第三方应用可以通过api创建、执行流程并获取监控信息。能够主动通知第三方应用相关的系统 信息与告警。
高可扩展性 支持编写java和python脚本扩展系统数据处理功能。
应用场景/application scenarios
支持各种数据源,定时批量或接口调用交换数据,满足跨部门信息资源共享需求。 支持各种数据源,对数据进行复杂清洗比对、质量检查、数据脱敏,实现数据治理。
典型案例/Typical case
南方电网OS2地级主站系统
中航信在线事务处理系统
国家能源集团项目
江苏监狱管理局项目
......