数据中台(大数据平台)之数据集成平台建设

2024-07-09 14:26 浏览量:395

数据集成平台是对数据进行抽取、清洗、加工、转换等工作的支撑平台,是增量和全量数据抽取、传输、交换、同步以及整合的一站式解决方案。需要支持数据抽取、数据清洗等数据处理任务的编排能力,以及集群负载、智能监控的综合支撑能力。

 

 

  1. 1.异构数据源集成

 

异构数据源集成提供各类异构数据源的接入和分类管理功能,实现数据源的统一管理和维护,支持关系型数据库、非关系型数据库、大数据数据库、国产数据库等常见的数据源。

 

 

 

 

  1. 2.可视化数据归集流程设计

 

对批量数据归集流程,提供拖拽式组件,快速时间批量归集流程的开发。需要提供常用的数据输入、数据转换、数据输出组件,可基于拖拽式的方式进行流程开发和测试。

 

 

 

  1. 3.实时数据归集

 

针对时效性要求较高的场景,能够支持Mysql、Oracle等数据源的实时数据采集,支持实时采集任务的新增、停止、编辑、删除的管理能力;可实时监测实时任务的数据插入、更新、删除的趋势,以及总插入、总更新、总删除的数量。

 

 

  1. 4.数据清洗

 

以数据资源中心贴源层数据库为起点,经过数据清洗、数据比对,最终将贴源层的正确数据写入治理层,错误数据写入异常数据库的过程。提供清洗、加工、抽取、转换的数据处理,支撑数据资源中心建设,提供可视化设计和配置功能,快速实现整合流程的设计开发,以及任务管理功能。

 

 

  1. 5.编排执行编排执行

 

支持基于WEB页面的拖拽式数据流程编排,对数据集成的全链路进行配置,串行或并行运行数据流程。流程编排过程支持撤销和回退操作,且支持页面触发运行测试,动态输出每个步骤的流程日志。

 

 

  1. 6.多维度统计分析

 

针对集成任务以及数据,提供图形化的趋势分析,增强用户感知。同时提供针对不同维度的集成查询,如集成任务、源头部门、业务主题等,贴合实际,响应组织实际业务需求。

 

 

  1. 7.智能监控预警

 

基于数据集成、清洗等任务的配置,监控预警助力实现数据归集长效治理,通过设定指标阈值、监控指标阈值的方式,实现全天候、全任务的集成监控覆盖。

 

上一篇:回顾《数据资产入表百家讲坛》 | 第三方数据质量管理实践分享

下一篇:基于“理采存管用”的数据中台建设方案

  • 分享:
龙石数据
咨询电话: 0512-87811036,18013092598
联系我们
商务联系微信

商务联系微信

0512-87811036,

18013092598

咨询电话