2025-05-23 14:33 浏览量:34
一、数据共享-API共享
1 支持所有API类型的3种鉴权模式
签名模式:需提供AppKey和SecretKey。
简易模式:仅需AppKey即可调用。
不鉴权:无需密钥。
2 自助API支持添加清洗转换规则
支持给返回参数的字段添加清洗转换规则,对API返回结果进行灵活处理。
二、基础配置-清洗转化规则
tips:清洗转换规则是一组预先定义的逻辑或函数,对原始数据进行处理,消除错误、冗余和不一致性。将原始数据转化为准确、统一、可用的高质量数据。
核心可概括为两大环节:1.数据清洗:识别并处理原始数据中的各类问题,消除 “脏数据”2.数据转换:优化数据格式、结构或值域,实现标准化与规范化。
例如:输入:带有缺失、格式混乱的原始数据表;输出:统一包含标准化数值、规范日期的干净数据。
1 新增40条清洗转换规则
API管理、数据归集、数据清洗以及数据共享等功能可直接使用转换规则。
三、数据集成-数据源接入
1 接入Oracle数据源时,支持两种连接方式
SID(System Identifier):数据库实例的唯一标识符,用于区分同一数据库服务器上运行的多个数据库实例;服务名(Service Name):数据库服务的标识符,是更灵活的云端或分布式环境连接方式。
2 新增数据源扩展属性配置
在数据源连接参数中新增扩展属性配置选项,允许用户根据数据库连接信息自助填写属性名及其值。
四、数据集成-多表归集管理
1 新增数据缓存大小配置
新增手动调节缓存条数字段,解决表输入和表输出速度不一致导致的内存压力问题。
2 资源组下拉框
原“集群”功能统一改为“资源组”,任务执行时默认选择当前模块下的资源组。
3 新增保存并立即执行按钮和功能
多表映射配置后可直接执行任务,无需额外配置任务监控(任务需处于启用状态)。
4 新增建表日志和建表进度提示
启动自动建表流程后可随机关闭页面,建表进度和状态可以在建表日志中查看。
5 批量设置常量功能,新增共性字段类型下拉选择框
支持为字符型、整型、浮点型、日期时间型、时间戳型设置常量。
6 【修复】数据源接入信息被更改后,多表归集任务同步生效
当用户在数据源配置界面修改了数据源信息,无需进入关联的多表归集任务或流程中重新编辑和保存再运行,在多表归集任务或流程中直接点击运行,这些数据就会自动同步过去。
热门文章