龙石数据中台V3.8.5版本正式发布,本次升级以“聚焦核心场景、提升易用体验”为目标,重点实现了对Gbase数据库的全流程适配,同时对使用率较低的功能模块进行了精简优化,让产品更贴合实际工作场景。 一、 数据集成 1 数据源接入 新增Gbase数据源适配: 本次升级实现了对Gbase的全流程支持,覆盖数据接入、数据归集、数据质量、数据共享等核心模块。 2 日志查询优化 数据归集、清洗等任务日志的查询时间范围默认设为7天。 新增“只查看数据量大于0的日志”开关,一键过滤无效执行记录。 3 编排任务管理 此前,编排任务在归集、清洗等任务管理页面与编排任务管理模块均可操作,存在功能重叠,易造成管理混乱。 因此,本次升级将编排任务统一收口至“编排任务管理”模块,其他模块的相关操作全部置灰,避免冲突,职责边界更清晰。 4 文件管理升级 单次上传最大支持5G,单个文件最大支持500MB,大文件上传更轻松。 二、 数据治理 1 元数据模块—功能精简 移除“元数据标准化、元数据稽核分析、元数据标准化审核、全链分析”等使用率低的模块。 元数据检索页面去掉“标准化差异”按钮,使界面更聚焦。 三、 数据共享 1 API共享优化 自助API增加SQL说明提示: 不分页查询,单次最大查询10000条记录;开启分页查询的API,建议SQL语句要做排序,如果使用SQLServer时必须加排序,否则会报错。 执行SQL时增加loading等待提示,用户体验更友好。 四、 运维监控 1 监控项优化 目前平台默认监控任务状态和任务逾期情况,可满足日常监控需求。 本次升级,将数据归集、清洗、共享等任务的“执行耗时”和“采集记录数”改为非必填项,减轻用户使用负担。 五、 全局体验 此前保存流程后,提示框需等待数秒才会消失,无法手动关闭。 本次新增“关闭”按钮,用户执行完流程后可立即关闭提示,减少等待时间,操作更高效。 龙石新书|欢迎共创 龙石数据编写的书籍《数据治理实战指南—“理采存管用”落地方法、步骤与模版》已在官网连载完毕,供大家参考交流。 这不是一本晦涩的理论著作。对于实施人员,这是一本手把手帮带的指导书。对于管理人员,这是一本提升成效的检查单。 更特别的是,本书采用了开放式共创的编撰模式,诚邀大家审阅、研讨、共创和交流。 点击图片进入共创空间,与作者直连、获电子版书稿
本次数据中台V3.8.4版本聚焦实时数据流转与用户操作体验,覆盖数据集成,数据治理、监控预警等多个模块,让数据管理更高效、更稳定、更易用。 一、数据集成 1 数据归集 - 新增心跳测试机制 我们发现在实时数据归集功能中,若来源库长时间无新数据产生,来源库的数据库日志会被定期清理,后续有新数据接入时,任务因缺失同步节点会导致归集任务出错 此次升级,增加心跳测试功能,通过定期推送任务最新日志,避免因来源表长时间不更新、日志删除导致的游标缺失报错问题,保障数据实时流转稳定性。 心跳检测是通过网络周期性发送的状态监测信号,主要用于判断机器、存储器节点的在线状态与运行健康度。其核心原理是通过定期发送微小数据包(心跳包)来确认通信双方或集群节点的可用性。 主要作用: · 连接维持:防止网络中间设备(如路由器、防火墙)因长时间无数据流而关闭连接。 · 故障探测:快速发现宕机节点,提升分布式系统的可靠性。 2 数据源接入 - 优化文件管理体验 新增单个/批量下载文件,数据获取更灵活。 优化重名文件上传逻辑:上传重名文件时,支持用户自主选择“覆盖原文件”或“保留原文件”,操作更可控。 二、数据治理|数据质量模块 1 模式重构 - 简化流程,聚焦核心需求 数据质量模块由“派发模式”改为“不派发模式“,去除冗余流转环节。 精简功能菜单:删除「问题数据管理」、「按来源部门 / 责任人自动派发」、「手工派发」、「问题派发日志」、「退回问题设置」、「数据异议管理」、「数据质量评测报告」、「规则质量分析」等 8 项非核心菜单。 新增「问题数据查看」模块:仅保留“待修复”、“已关闭”两种状态的问题数据;“待修复”为评测出的问题数据;“已关闭”为源头修复后系统自动核销的记录。 2 评测模型管理 - 优化配置逻辑 数据源选择:仅显示质量模块支持的数据源类型,并优化为多层级选择样式。 主题创建:取消组织机构关联要求,无需下拉选择部门,简化创建流程。 评测对象管理:新增评测对象时,取消物理表来源部门的校验,无需关联来源部门即可完成添加。 规则管理:隐藏更新频率规则和规则库,简化配置项。 3 评测任务管理 - 新增实用功能 操作优化:新增“立即执行“按钮,支持规则一键全选/取消功能,操作更高效; 执行策略升级:优化为4种执行策略(手工触发、重复执行、定时一次、Cron表达式),适配更多场景。 三、 评测任务管理 - 新增实用功能 数据质量洞察升级 数据治理分析模块新增2大核心功能:「问题数据统计」、「时效性分析报告」模块,助力全面洞察数据质量状况,为决策提供数据支撑。 四、 运维监控 新增「质量评测任务监控」功能,实现核心任务全流程监控。 扩展预警渠道:在数据归集监控、数据清洗监控、数据共享监控模块中,增加企业群消息预警功能,实现异常信息及时同步。 五、基础配置 消息通知配置:新增企业微信群消息配置。 安全强化:对AgentID、密钥、Webhook地址、邮箱密码等敏感信息采用脱敏显示,提升系统信息安全性。
本次龙石数据中台V3.8.3版本升级的重点聚焦于数据共享、数据集成与数据应用三大核心模块,重点提升数据流转效率、接入能力与协作安全性,助力各组织实现更高效、更可控的数据管理。 一、数据共享|API共享模块 1 新增「数据处理任务」组件 在API 管理模块的 API 编排流程中,新增“数据处理任务“组件,支持在流程中直接触发批量归集、数据清洗、数据编排等任务。 此前,数据集成、清洗等模块相互独立,数据传输后需手动跨模块发起任务,操作繁琐且流转耗时。新增组件后,用户可通过API触发数据处理任务。 2 优化鉴权指引 在中台下载的API文档中,补充“鉴权模式“说明,提供3种鉴权模式的详细说明,帮助用户快速理解并掌握鉴权配置方法。 二、数据集成 1 数据源接入扩展 新增2种数据库类型支持 本次升级进一步丰富数据源适配类型,新增海量数据库G100、华为GaussDB两种数据库的接入支持。 2 任务日志体验优化 新增任务分组查询 批量归集/清洗/编排任务日志可按分组筛选,支持筛选分组下各任务的执行情况。 规范术语 将列表页及详情页中的“最近执行状态”统一更名为“执行状态”,表述更精准。 扩充查询维度 新增“执行状态“、“执行日期”查询维度,支持用户快速筛选目标任务日志。 三、数据应用|数据可视化模块 1 新增报表“赋权”功能 支持工作空间管理员针对当前空间内的报表资源,向其他用户精准授予报表查看权限。既保障了报表数据的访问安全,又提升了多角色协作下的数据资源共享效率。 龙石新书|欢迎共创 龙石数据编写的书籍《数据治理实战指南—“理采存管用”落地方法、步骤与模版》已在官网连载了前7章内容,供大家参考交流。 这不是一本晦涩的理论著作。对于实施人员,这是一本手把手帮带的指导书。对于管理人员,这是一本提升成效的检查单。 更特别的是,本书采用了开放式共创的编撰模式,诚邀大家审阅、研讨、共创和交流。 点击图片进入共创空间,与作者直连、获电子版书稿
传统的数据应用场景中,业务人员想要获取数据,尤其是想要获取一些加工后的数据,往往需要掌握复杂的SQL语法或依赖IT部门进行数据查询;这种模式不仅门槛高、周期长,还严重制约了数据价值的快速释放。 本次V3.8.2版本推出的 AI 用数智能体,旨在通过自然语言交互,让业务人员像与同事对话一样轻松获取数据洞察,实现“即问即得、即见即用”的智能化数据服务体验。 一、自然语言交互,数据查询大提速 1 零门槛数据查询,自然语言实现数据洞察 用户只需用自然语言描述数据需求(如"查询2024年各地区的生产总值"、"分析本季度销售趋势"等),AI用数智能体即可自动理解用户意图,将自然语言转换为标准SQL查询语句,调用数据仓库获取查询结果。 系统支持多轮对话,帮助用户逐步细化需求,精准定位所需数据,告别复杂的SQL编写和漫长的需求排期。 二、多样化数据展示 针对数据查询的返回结果,系统自动选择最适合的图表类型来展示数据。(饼图适合展示占比关系,柱状图适合对比不同维度的数据,折线图适合展示趋势变化) 同时,系统会对原始数据进行格式化处理,包括汇总、排序等,并用自然语言封装查询结果,以直观、可理解的方式为用户提供数据洞察。 三、知识库持续优化,更懂你的业务 1 元数据增强技术 在现有数据仓库与元数据库基础上,通过元数据增强技术补充业务术语、数据关联等业务属性,帮助 AI 用数智能体精准理解业务场景,避免因技术与业务语言差异导致的需求误解。 2 智能体微调 系统将用户操作中的负反馈样本纳入知识库,结合 prompt 技术、示例提示、多轮提示优化等手段,不断迭代优化模型提示策略,持续提升 AI 对复杂业务需求的理解能力与响应精准度。 四、构建AI问数智能体运营体系,准确率直逼100% 为保障数据查询的准确性,平台构建了一套完整的 AI 问数智能体运营体系。 当用户对查询结果存疑时,可随时提交工单反馈,技术部门将及时跟进补充数据或微调 AI 模型,并快速向用户反馈处理结果,形成 “用户反馈 - 模型优化 - 效果提升” 的持续迭代闭环。 运营体系的构建,推动AI用数准确率从95%向100%无限接近,每一次用户反馈都会让AI用数智能体变得越来越懂业务,越来越精准。 AI用数智能体的出现,让数据查询从技术门槛变成了业务能力。 业务人员不再需要学习复杂的技术,就能快速获取数据洞察,真正实现了"让数据为业务服务"的理念。无论是日常的业务监控,还是临时的数据分析需求,AI用数智能体都能快速响应,让数据价值得到最大化的释放。
龙石数据中台 V3.8.1 升级详情速览
龙石数据中台 V3.7.1 升级详情速览
一、数据共享-API共享 1 支持所有API类型的3种鉴权模式 签名模式:需提供AppKey和SecretKey。 简易模式:仅需AppKey即可调用。 不鉴权:无需密钥。 2 自助API支持添加清洗转换规则 支持给返回参数的字段添加清洗转换规则,对API返回结果进行灵活处理。 二、基础配置-清洗转化规则 tips:清洗转换规则是一组预先定义的逻辑或函数,对原始数据进行处理,消除错误、冗余和不一致性。将原始数据转化为准确、统一、可用的高质量数据。 核心可概括为两大环节:1.数据清洗:识别并处理原始数据中的各类问题,消除 “脏数据”2.数据转换:优化数据格式、结构或值域,实现标准化与规范化。 例如:输入:带有缺失、格式混乱的原始数据表;输出:统一包含标准化数值、规范日期的干净数据。 1 新增40条清洗转换规则 API管理、数据归集、数据清洗以及数据共享等功能可直接使用转换规则。 三、数据集成-数据源接入 1 接入Oracle数据源时,支持两种连接方式 SID(System Identifier):数据库实例的唯一标识符,用于区分同一数据库服务器上运行的多个数据库实例;服务名(Service Name):数据库服务的标识符,是更灵活的云端或分布式环境连接方式。 2 新增数据源扩展属性配置 在数据源连接参数中新增扩展属性配置选项,允许用户根据数据库连接信息自助填写属性名及其值。 四、数据集成-多表归集管理 1 新增数据缓存大小配置 新增手动调节缓存条数字段,解决表输入和表输出速度不一致导致的内存压力问题。 2 资源组下拉框 原“集群”功能统一改为“资源组”,任务执行时默认选择当前模块下的资源组。 3 新增保存并立即执行按钮和功能 多表映射配置后可直接执行任务,无需额外配置任务监控(任务需处于启用状态)。 4 新增建表日志和建表进度提示 启动自动建表流程后可随机关闭页面,建表进度和状态可以在建表日志中查看。 5 批量设置常量功能,新增共性字段类型下拉选择框 支持为字符型、整型、浮点型、日期时间型、时间戳型设置常量。 6 【修复】数据源接入信息被更改后,多表归集任务同步生效 当用户在数据源配置界面修改了数据源信息,无需进入关联的多表归集任务或流程中重新编辑和保存再运行,在多表归集任务或流程中直接点击运行,这些数据就会自动同步过去。
上周,某制造业大厂的CIO刘总向我们诉苦: "上了数据中台后,技术团队天天忙着从几十个系统归集数据,但业务部门总说数据不全、不及时。技术同事委屈,业务同事愤怒,我夹在中间左右为难🤯" 这场景您是否似曾相识? 在传统数据治理实践中,技术人员不得不面对这样的低效流程: 单表逐个配置:每张表都需要独立创建归集任务 重复手工操作:字段映射、调度策略等参数需反复设置 碎片化管理:分散的任务监控消耗大量运维精力 我们发现:“数据归集的痛点,除了"能不能归集",还有"如何高效归集、精准交付" 针对这一痛点,龙石数据中台v3.6.1新推出【多表归集管理】功能,显著实现数据的高效归集💡 一、多表归集任务列表 支持基于可视化配置多表归集管理,提供任务检索、详细查看、删除、检索等基本管理功能 二、多表归集任务配置 1 支持向导式多笔归集任务配置 用户可以配置任务名称、业务主题、来源数据库、目标数据库、同时执行任务数等字段 支持一次性同时归集百余张数据表格 支持批量选择、检索选择来源表 支持来源表和目标表的映射配置,支持精准、模糊等自动匹配方式 三、自动创建目标表 支持基于来源表自动创建目标表 支持批量添加目标表的共性字段 支持查看批量创建表的实时进度和执行结果 四、任务管理 支持可视化配置执行策略 支持基于Cron表达式配置任务执行策略,可灵活调度多表归集任务,优化资源利用率 无论是跨系统的订单数据、客户信息,还是分散在各业务模块的日志表,只需简单勾选,即可自动完成归集任务创建、字段映射、目标表生成全流程,彻底告别重复劳动,大大提升数据整合效率。 如需了解具体操作演示,欢迎咨询,畅快体验!
在数字化转型的浪潮中 数据中心运维管理面临巨大挑战。 如何确保系统运行稳定? 如何快速响应问题概况? 龙石数据中台监控中心全新升级 提供全天候、全任务集成监控 助力运维效率再上新台阶! 一、中心总览 1 全局视角,掌控平台运行状态 无论是资源组、主机、数据库,还是各类任务的执行情况,都能通过中心总览一目了然。 通过图形化展示,实时呈现数据治理模块的状态变化,助你快速定位问题、优化资源配置。 二、各模块监控 1 精准定位,高效运维 主机监控:实时监控主机的CPU使用率、剩余内存、剩余磁盘、TCP连接数等关键指标。 数据库监控:对接入中台的数据库的连接数定义监控指标,出现异常情况能够及时预警。 各任务监控:对数据归集任务、数据清洗任务、数据开发任务、数据共享任务等进行统一管理,支持设定监控指标以及监控预警方式。 三、智能预警 1 从监控到处理,全流程闭环 龙石数据中台的监控中心通过智能化预警机制,实现了从监控-->预警-->处理的全流程闭环。 当任务指标超出预设阈值时,系统会自动预警并通知相关责任人,支持微信、短信、邮件等多种预警方式,确保问题在萌芽状态就被及时解决。 更多升级,敬请期待
龙石数据中台V3.5.2升级:涉及API模块、数据标准模块、修复模块等功能升级和功能修复,点击了解详情~