龙石数据中台 V3.9.3 聚焦元数据管理、实时归集、任务执行与数据质量等核心能力升级,完善血缘分析与元数据自动接入,增强实时任务重置与异常处理能力,并优化质量评测及清洗转换配置,进一步提升平台治理与数据处理效率。
一 数据治理-元数据模块
1 元数据检索范围进一步扩展
新增「数据源」类型的元数据信息,方便用户从数据库、表、字段等不同层级检索和查看元数据。
2 元数据管理能力升级
新增元数据自动接入能力。数据源接入后,系统可自动同步相关元数据;同时,优化元数据左侧分类树,与数据源接入结构保持一致。
新增表数据预览及忽略功能。用户可直接查看表数据,并将无需参与后续治理或共享的表设为“忽略”,被忽略的表将在相关模块中自动过滤。
3 元数据整体适配与关联能力
支持在库维度设置表的关联关系,同时优化关联关系类型,集中完成表关联配置。
4 元数据采集策略升级
扩充采集任务执行方式,支持手工触发、重复执行、定时执行一次、Cron表达式四种调度模式。
二 数据集成-实时归集管理模块
1 新增任务「重置」功能
全量+增量任务支持清空目标表数据并重新执行;增量任务从最新游标位置继续同步,使用前需要保证目标表与源表数据一致;Hudi任务重置前需由用户手工处理目标表数据。
2 来源表与目标表同名字段自动映射
支持来源表与目标表中的同名字段自动匹配和映射,匹配时不区分大小写,减少手工配置字段映射的操作。
3 新增「长事务留存时间」配置
Oracle 来源库支持配置“长事务留存时间”,用于控制长时间未提交事务的最大等待时长。超过设定时间仍未提交的事务将被自动丢弃,降低长事务持续阻塞实时同步任务的风险。
三 数据质量
1 评测模型配置进一步整合
新建评测模型时,可统一完成评测对象、字段属性及关联表信息配置,让质量评测配置更加集中。
四 基础配置
1 基础配置-清洗转换规则
值映射的手工配置、标准库配置支持一行配置多个原始值映射至同一个标准值,多个原始值使用英文逗号进行分隔,提升数据归一化处理效率。
以上是本次V3.9.3版本迭代内容,后续将持续强化数据治理能力,提升平台综合性能,敬请期待。