龙石数据中台 V3.8.1 升级详情速览
龙石数据中台 V3.7.1 升级详情速览
一、数据共享-API共享 1 支持所有API类型的3种鉴权模式 签名模式:需提供AppKey和SecretKey。 简易模式:仅需AppKey即可调用。 不鉴权:无需密钥。 2 自助API支持添加清洗转换规则 支持给返回参数的字段添加清洗转换规则,对API返回结果进行灵活处理。 二、基础配置-清洗转化规则 tips:清洗转换规则是一组预先定义的逻辑或函数,对原始数据进行处理,消除错误、冗余和不一致性。将原始数据转化为准确、统一、可用的高质量数据。 核心可概括为两大环节:1.数据清洗:识别并处理原始数据中的各类问题,消除 “脏数据”2.数据转换:优化数据格式、结构或值域,实现标准化与规范化。 例如:输入:带有缺失、格式混乱的原始数据表;输出:统一包含标准化数值、规范日期的干净数据。 1 新增40条清洗转换规则 API管理、数据归集、数据清洗以及数据共享等功能可直接使用转换规则。 三、数据集成-数据源接入 1 接入Oracle数据源时,支持两种连接方式 SID(System Identifier):数据库实例的唯一标识符,用于区分同一数据库服务器上运行的多个数据库实例;服务名(Service Name):数据库服务的标识符,是更灵活的云端或分布式环境连接方式。 2 新增数据源扩展属性配置 在数据源连接参数中新增扩展属性配置选项,允许用户根据数据库连接信息自助填写属性名及其值。 四、数据集成-多表归集管理 1 新增数据缓存大小配置 新增手动调节缓存条数字段,解决表输入和表输出速度不一致导致的内存压力问题。 2 资源组下拉框 原“集群”功能统一改为“资源组”,任务执行时默认选择当前模块下的资源组。 3 新增保存并立即执行按钮和功能 多表映射配置后可直接执行任务,无需额外配置任务监控(任务需处于启用状态)。 4 新增建表日志和建表进度提示 启动自动建表流程后可随机关闭页面,建表进度和状态可以在建表日志中查看。 5 批量设置常量功能,新增共性字段类型下拉选择框 支持为字符型、整型、浮点型、日期时间型、时间戳型设置常量。 6 【修复】数据源接入信息被更改后,多表归集任务同步生效 当用户在数据源配置界面修改了数据源信息,无需进入关联的多表归集任务或流程中重新编辑和保存再运行,在多表归集任务或流程中直接点击运行,这些数据就会自动同步过去。
上周,某制造业大厂的CIO刘总向我们诉苦: "上了数据中台后,技术团队天天忙着从几十个系统归集数据,但业务部门总说数据不全、不及时。技术同事委屈,业务同事愤怒,我夹在中间左右为难🤯" 这场景您是否似曾相识? 在传统数据治理实践中,技术人员不得不面对这样的低效流程: 单表逐个配置:每张表都需要独立创建归集任务 重复手工操作:字段映射、调度策略等参数需反复设置 碎片化管理:分散的任务监控消耗大量运维精力 我们发现:“数据归集的痛点,除了"能不能归集",还有"如何高效归集、精准交付" 针对这一痛点,龙石数据中台v3.6.1新推出【多表归集管理】功能,显著实现数据的高效归集💡 一、多表归集任务列表 支持基于可视化配置多表归集管理,提供任务检索、详细查看、删除、检索等基本管理功能 二、多表归集任务配置 1 支持向导式多笔归集任务配置 用户可以配置任务名称、业务主题、来源数据库、目标数据库、同时执行任务数等字段 支持一次性同时归集百余张数据表格 支持批量选择、检索选择来源表 支持来源表和目标表的映射配置,支持精准、模糊等自动匹配方式 三、自动创建目标表 支持基于来源表自动创建目标表 支持批量添加目标表的共性字段 支持查看批量创建表的实时进度和执行结果 四、任务管理 支持可视化配置执行策略 支持基于Cron表达式配置任务执行策略,可灵活调度多表归集任务,优化资源利用率 无论是跨系统的订单数据、客户信息,还是分散在各业务模块的日志表,只需简单勾选,即可自动完成归集任务创建、字段映射、目标表生成全流程,彻底告别重复劳动,大大提升数据整合效率。 如需了解具体操作演示,欢迎咨询,畅快体验!
在数字化转型的浪潮中 数据中心运维管理面临巨大挑战。 如何确保系统运行稳定? 如何快速响应问题概况? 龙石数据中台监控中心全新升级 提供全天候、全任务集成监控 助力运维效率再上新台阶! 一、中心总览 1 全局视角,掌控平台运行状态 无论是资源组、主机、数据库,还是各类任务的执行情况,都能通过中心总览一目了然。 通过图形化展示,实时呈现数据治理模块的状态变化,助你快速定位问题、优化资源配置。 二、各模块监控 1 精准定位,高效运维 主机监控:实时监控主机的CPU使用率、剩余内存、剩余磁盘、TCP连接数等关键指标。 数据库监控:对接入中台的数据库的连接数定义监控指标,出现异常情况能够及时预警。 各任务监控:对数据归集任务、数据清洗任务、数据开发任务、数据共享任务等进行统一管理,支持设定监控指标以及监控预警方式。 三、智能预警 1 从监控到处理,全流程闭环 龙石数据中台的监控中心通过智能化预警机制,实现了从监控-->预警-->处理的全流程闭环。 当任务指标超出预设阈值时,系统会自动预警并通知相关责任人,支持微信、短信、邮件等多种预警方式,确保问题在萌芽状态就被及时解决。 更多升级,敬请期待
龙石数据中台V3.5.2升级:涉及API模块、数据标准模块、修复模块等功能升级和功能修复,点击了解详情~
龙石数据v3.5.1升级:涉及API模块,数据归集模块,架构部署模块等功能升级,点击了解详情~