本文所称"AI数据集",主要指企业将结构化业务数据经过治理后,形成可供模型训练、分析推理、智能问数等场景使用的数据集合。不同AI场景对数据的要求各有侧重——产品质量预测依赖传感器和工艺参数的完整性与准确性,智能问数更依赖元数据的语义映射和指标口径的统一——但底层的数据治理逻辑是共通的。
某制造企业的AI团队计划用AI模型做产品质量预测,思路很清晰:把ERP里的生产记录、MES里的工艺参数、LIMS里的检测数据喂给模型。但实际操作中,他们遇到了意想不到的困难——同一个物料在三个系统里用三种编码命名,部分历史检测记录缺少关键字段,跨系统的指标口径各说各话。数据确实"有",但不在一个能用、可信的状态。
这不是孤例。越来越多的企业发现,从"业务系统里存着数据"到"AI能直接用这些数据",中间隔着的不是技术问题,而是一整套治理功课。其核心不是简单"把数据喂给模型",而是建立一套能够持续生产、更新和评价AI数据集的治理机制。本文逐一拆解这中间的十个关键环节。

一、为什么业务数据不能直接"喂"给AI
业务系统中的数据是为业务流程服务的——订单系统的数据负责记录交易,MES的数据负责跟踪生产执行,CRM的数据负责管理客户关系。这些数据在设计之初就没有考虑过"被AI模型消费"这个使用场景。
具体来说,业务数据在三个维度上天然不适合直接用作AI数据集。
口径不一致。同一个业务指标,不同系统可能有不同的理解和计算方式。例如"准时交付率",有的系统按订单创建时间算,有的按发货确认时间算,数字自然对不上。华东某电子制造企业在数据治理过程中就遇到了这个问题:财务部算出来的产值和运营部算出来的产值对不上,月度经营会上管理层要先花时间确认"到底以哪个数字为准"。AI模型如果学到的是这种口径矛盾的数据,输出的结论也必然自相矛盾。
质量参差。业务系统中普遍存在数据缺失、格式错误、异常值超标等问题。这些问题在日常业务流程中可能被人工校验绕过,但AI模型会规模化使用数据——原本可以通过人工经验绕过的数据问题,可能在模型训练和推理过程中被持续放大。
语义缺失。数据库中的字段名是技术命名——"F_ORDER_AMT""T_PROD_CD"这类标识对开发人员不是问题,但对AI模型而言,它不知道这些字段在业务世界里的实际含义。没有元数据的"翻译层",AI难以准确建立业务术语与表、字段、指标之间的映射关系。
综合来看,业务数据的三个短板恰好对应了AI数据集的核心要求:口径一致对应"可信",质量达标对应"可靠",语义完整对应"可理解"。补齐这三个短板的过程,就是治理全链路的核心任务。
二、治理全链路:十个环节逐一拆解
从业务数据到AI数据集,依次经过十个治理环节。这些环节可以参考龙石数据"理—采—存—管—用"的整体路径进行组织,但各环节之间并非严格割裂,在实际项目中往往交叉推进。以下按大致阶段展开。
理:摸清家底
1. 数据盘点
做什么:系统性地梳理企业有哪些数据、存在哪些系统里、归属哪个业务域、数据量级和更新频率如何。
为什么重要:如果连"数据在哪"都说不清楚,后续的归集、质量和安全工作就是无源之水。盘点是治理全链路的起点。
怎么做:从AI应用瞄准的核心业务域出发,逐系统盘点数据表、字段和关键业务对象。不要把范围铺得太广——先盯住AI会用到的那几套核心系统和核心表即可。产出物是一份数据资产清单,标明每个数据资源的来源系统、业务归属和基本状态。
2. 来源筛选
做什么:围绕明确的AI应用场景,判断哪些数据值得纳入AI数据集,哪些数据与场景无关或质量过低不值得投入。
为什么重要:不是所有数据都值得喂给AI。低质量、低相关性的数据只会增加噪音和治理成本。筛选的标准是"这个数据集对AI应用场景有没有直接价值"。
怎么做:基于第一步的盘点结果,AI团队和业务团队共同确认数据需求范围。质量过差、更新频率过低、与场景无关的数据暂不纳入,先聚焦核心数据源。
采:汇聚数据
3. 多源归集
做什么:将分散在不同业务系统中的数据统一汇聚到治理平台或数据底座中。
为什么重要:数据不汇聚,后续的清洗、标准和质量工作就无法集中执行。归集是打通数据孤岛的第一刀。
怎么做:根据数据类型和时效要求选择归集策略——结构化数据采用批量归集,龙石数据中台对单表精细化的场景可通过拖拽式画布设计数据流转,对需要一次同步多张表的场景可采用向导式批量勾选;需要秒级响应的场景采用实时归集(基于数据库日志的变更数据捕获)。归集过程需要处理数据库异构适配、字符集转换、字段映射等常见工程问题。

存:数据存储
4. 清洗转换
做什么:对归集后的存量数据进行格式统一、异常值处理、空值标记和数据类型转换。
为什么重要:原始数据中的脏数据如果不清理,后续的质量检测和AI训练都会受到影响。清洗是"让数据进入可用状态"的必要工序。
怎么做:格式化处理(日期格式统一、数值精度对齐)、异常识别(超出业务合理范围的值标记或剔除)、缺失值处理(按业务规则填补或标记为空)。清洗规则应当在治理平台中配置为可复用的模板,而非每次手工处理。
管:治理保障
5. 标准统一
做什么:统一数据的编码规范、命名规则、业务术语定义和指标计算口径。
为什么重要:这是AI数据集可信度的关键底座。如果同一个指标在不同系统中代表不同的含义,AI模型学到的是矛盾的信息——输出结果可能在语言上流畅,但在业务逻辑上自相矛盾。
怎么做:从核心主数据对象(如物料、客户、供应商、科目、项目等)入手,制定统一的编码规则和命名规范。然后扩展到关键业务指标的计算口径统一——明确每个指标的取数来源、计算逻辑和更新频率。标准制定后需要沉淀到治理平台中,作为数据接入和使用的强制校验基准。
华东某电子制造企业在治理过程中,从核心业务对象入手,逐一盘点各系统中的存量数据,统一编码规则和校验规范,产出了覆盖全集团的数据标准体系。这个过程的经验是:如果基础编码都没统一,再先进的AI模型也难以产出可信的结果。
6. 质量检测
做什么:依据国家标准定义的质量维度,对数据进行系统性的自动化质量扫描。
为什么重要:质量检测把"数据能不能用"从主观判断变成可量化的客观评价。只有经过质量验证的数据集,AI模型的输出才有可信度。
怎么做:以GB/T 36344-2018《信息技术 数据质量评价指标》[1]为框架。该标准定义了六个评价维度——规范性、完整性、准确性、一致性、时效性和可访问性。除可访问性侧重技术条件外,前五个维度直接影响AI应用效果:规范性决定数据是否按统一格式被模型稳定解析,完整性和准确性决定模型推理的信息基础是否可靠,一致性和时效性决定跨系统关联分析的结论是否可信。
在实操层面,质量检测通常采用旁路监测模式——数据正常入库,质量规则并行扫描,发现问题打标记、告警或生成工单,不阻断业务流程。这种方式在保证质量可见性的同时,不影响业务系统的正常运行。对于希望先开展质量摸底的企业,也可以通过支持 GB/T 36344 评价框架的数据质量工具,对核心数据源进行基线检测,在不影响原有业务流程的情况下识别主要质量问题。
7. 语义补充
做什么:为技术字段补充业务含义说明,让AI能够"读懂"数据。
为什么重要:数据库字段名是给开发人员看的,AI模型需要的是一层业务语义的"翻译"。一个字段叫"F_STAT_CD",AI不知道它代表"订单状态"还是"客户级别"——除非元数据告诉它。语义补充的本质,是把数据库从"技术字典"升级为"业务字典"。
怎么做:通过元数据管理,为每个字段补充中文名称、业务定义、取值规则、关联关系等信息。这一步在技术上不复杂,但考验的是业务语义的统一能力——同一个业务概念在不同部门之间可能存在隐性差异,需要逐一拉通。在实际项目中,核心数据资产的业务口径梳理往往是投入时间较多的环节,但这一步一旦完成,AI就可以基于一致的语义进行查询和分析。
8. 安全处理
做什么:对AI数据集中可能涉及的敏感信息进行分类分级和脱敏处理。
为什么重要:AI数据集一旦形成,通常会被多个团队使用和分发。如果原始数据中包含个人信息、商业秘密或其他敏感内容,未经脱敏就进入训练流程,不仅存在合规风险,而且一旦泄露几乎无法追溯。安全处理是AI数据集在"可用"和"合规"之间的平衡点。
怎么做:结合 DCMM 2.0(GB/T 36073-2025)[2]的数据安全能力要求,以及现行数据安全和分类分级相关规范,对数据实施分类分级——区分一般数据、重要数据和敏感数据。对敏感字段实施脱敏处理(支持静态脱敏和动态脱敏两种模式),配置按角色、按数据级别的访问控制策略。安全策略还需要支持场景化配置——同一个数据集在内部AI训练、跨部门共享、对外合作三种场景下,脱敏策略和访问权限应当有所不同。
用:应用与交付
9. 版本管理
做什么:对AI数据集的每一次变更进行版本记录,确保训练过程可追溯、可回滚。
为什么重要:AI模型的迭代本质上是在数据上迭代。如果数据集的版本没有记录,当模型效果出现波动时,排查方向就少了一个关键变量——不知道是模型参数的问题还是训练数据变了。版本管理解决的是"这个模型到底是哪批数据训出来的"这个朴素但关键的问题。
怎么做:对数据集建立版本号机制,每次数据更新(新增数据源、调整清洗规则、补充语义标注等)生成新的版本快照。版本信息应至少包含变更时间、变更内容、变更人和变更原因。在治理平台中,版本管理通常与数据资产目录联动——同一份数据集的历史版本在目录中保持可查询、可对比。
10. 服务发布
做什么:将治理完成的AI数据集以标准化形式交付给AI团队或应用系统。
为什么重要:治理的终点不是一份质量报告,而是数据真正被用起来。服务发布是治理全链路从"内部工程"转向"对外交付"的最后一环。
怎么做:根据使用场景选择合适的交付方式——批量训练场景以数据集文件或数据表形式输出,实时推理场景通过API接口提供数据服务(龙石数据中台已支持一键发布API并配置访问控制),探索分析场景通过数据资产门户让AI团队自助检索和使用。交付时需要附带元数据说明文档(数据字典、字段含义、质量评估结果、更新频率),让使用方在做AI训练之前就知道数据的特点和边界。

三、持续治理机制:AI数据集不是一次性交付
走完十个环节,并不意味着治理工作结束。AI模型会迭代,业务数据会更新,数据集的治理需要从"一次性工程"转向"持续运转的机制"。
质量基线的持续监控。以十个环节走完时的质量状态为基准线,配置自动化监控规则,当质量指标偏离基线时自动告警。这相当于把质量从"一次性体检"变成"持续监测"。
数据集的版本追踪。每次数据集发布新版本时,同步记录变更内容和变更原因,确保任何一次模型训练都能对应到确定的数据集版本。这对AI项目中的问题排查和同行评审尤为重要。
反馈闭环。建立从AI应用效果回传到数据集优化的反馈链路——模型在特定场景下的准确率下降、某些特征在实际推理中表现不稳定——这些信号反向驱动数据集的改进策略。闭环一旦建立,数据质量就从"靠人盯"变成了"靠机制走"。
四、以"理采存管用"为框架看AI数据集治理
"理采存管用"五阶段方法论为这十个环节提供了一个结构视角。在"理"阶段搞清楚数据家底,在"采"阶段打通系统间的数据流转,在"存"阶段建立标准化基础,在"管"阶段落实质量和安全要求,在"用"阶段以产品化方式交付——各阶段层层递进,构成了从业务数据到AI数据集的完整价值链。
从DAMA数据管理知识体系(DAMA-DMBOK2)[3]的视角来看,这十个环节覆盖了数据质量管理、元数据管理、主数据管理、数据安全管理和数据集成与互操作等多个核心知识领域。AI数据集的治理不是凭空创造一套新规则,而是将成熟的数据管理实践聚焦到AI这一特定消费场景上。
从多数项目的实践经验来看,在核心数据域完成基础治理后再启动AI应用,比"边用边治"更可控。正如前述电子制造企业的实践所示——如果底层编码都没统一,上层分析就缺乏可靠基础。数据治理的深度,直接决定了AI数据集的最终可信度。
FAQ
*Q1:十个环节听起来很多,小团队怎么入手?*
不需要一开始就追求全量覆盖。选取AI应用瞄准的一到两个核心业务域,从数据盘点和质量基线做起,先跑通一条完整链路。企业可以优先从质量基线检测和核心数据语义补充入手,这两项工作通常更容易形成阶段性成果。如果希望先低门槛地摸清数据质量现状,也可以通过免费的质量检测工具做一次基线扫描——例如龙石数据质量管理平台·社区版,部署后即可对核心数据源进行 GB/T 36344 标准框架下的自动化质量检测。
*Q2:已经有数据中台了,还需要专门的AI数据集治理吗?*
两者并非相互替代。数据中台为数据归集、治理和服务提供基础能力,AI数据集治理则进一步面向具体AI场景,对语义、质量、版本和使用反馈提出针对性要求。简单来说:中台把路修好了,但AI需要的路标、信号灯和定期养护需要专门设计。
*Q3:语义补充和元数据管理是一回事吗?*
元数据管理是基础设施——采集技术元数据和业务元数据。语义补充是在元数据基础上的"AI定向增强"——重点是为AI模型提供结构化、可查询的业务语义字典,确保模型能够正确地将业务术语映射到具体的表和字段上。两者的关系是:元数据管理搭框架,语义补充做精装。
*Q4:数据安全和模型安全是什么关系?*
数据安全关注"数据本身的敏感信息保护"——分类分级、脱敏处理、访问控制。模型安全关注"模型输入输出层面的攻击防护"——提示词注入、越狱攻击等。两者是上下游关系:数据安全做不好,敏感信息进入训练数据,模型安全就成了无源之水。结合 DCMM 2.0[2]的数据安全能力要求及现行安全规范,数据脱敏和访问控制是两者之间的衔接点。
参考来源
[1] GB/T 36344-2018《信息技术 数据质量评价指标》,国家市场监督管理总局、中国国家标准化管理委员会
[2] GB/T 36073-2025《数据管理能力成熟度评估模型》(DCMM 2.0),全国信息技术标准化技术委员会
[3] DAMA International,《DAMA数据管理知识体系指南(DAMA-DMBOK2)》,机械工业出版社