流程挖掘作为跨数据挖掘与过程建模的关键技术，有助于发挥数据要素价值，但当前业内对流程挖掘技术、数据要素利用程度不足。基于要素特征及DIKW模型等分析，发现数据要素应用于流程挖掘具有直接性、动态性和外部性等特征,可通过业务牵引、要素整合、技术融合机制发挥要素价值。因而企业需要进一步强化流程挖掘技术应用积累、注重数字化治理体系建设、探索建立数据安全与共享的共存机制等措施促进数据要素价值最大化。

目录 1.大模型对多源异构数据的渴求 2.大模型数据处理流程 3.行业实践:GPT背后的数据体系 一、大模型对多源异构数据的渴求 大模型如GPT-3、PaLM、OPT等,其超大规模参数(百亿到万亿量级)需要海量数据支撑。单一数据源难以满足如此规模的数据需求,必须开辟多元数据源。而异构数据源的融合利用,对数据工程提出更高要求。让我们深入几类主要数据源的采集技术细节。 1. 爬虫技术:数据采集 对于文本大模型而言,网络文本语料可谓取之不尽。以GPT-3模型为例,仅Common Crawl一项就采集了4年,近800GB的原始网页数据。网络爬虫技术是采集如此规模语料的主力军。主流的爬虫系统可分为以下几类: 1）通用爬虫:如Scrapy、Heritrix等,采用广度优先策略,从若干Seed URL出发,递归爬取后继链接,直至达到停止条件。 通用爬虫的优势在于覆盖广,适合爬取海量页面组成通用语料库。但因缺乏领域针对性,难以保证信噪比。为了从爬取过程中动态调整策略,出现了一些智能化爬虫: Reinforcement Crawler:将下载过程建模为强化学习,Agent通过Trial-and-Error不断优化策略,以获取高质量页面。 Learning Crawler:通过文本分类、聚类等模型自动甄别页面质量。微软曾提出ACHE等学习型爬虫框架。 此外,为了对抗反爬,通用爬虫往往需要庞大的IP代理池轮换请求,并处理好频控、Cookie等问题。对于登录页面,还需要自动化登陆流程。这也进一步提高了工程难度。 2）垂直爬虫:针对特定网站定制的爬虫,如新浪微博爬虫、抖音爬虫等。其特点是利用Xpath、CSS选择器等方式,精准提取页面关键信息。如判别一个微博账号是否为僵尸粉,可提取其粉丝数、互动数等特征。 垂直爬虫的价值在于,充分利用了页面结构信息,数据准度更高。同时还可根据业务逻辑设置参数,如只爬取财经新闻,营销类微博等。另外,很多反爬技术如字体反爬、JS加密都针对通用爬虫,垂直爬虫可通过定制规避。但其缺点也很明显:适用范围窄,通用性差。每个网站要单独定制,开发成本高。如果网站频繁改版,规则还需跟着升级。这限制了其批量生产的能力。 3）动态爬虫:传统爬虫直接请求URL,返回HTML,只能获取静态页面。但当今很多网站采用AJAX、Vue等前后端分离技术,页面通过JS动态加载,给爬虫带来不小挑战。 为了爬取动态网页,出现了一系列动态渲染爬虫。典型方案有: i 无头浏览器:Headless Chrome/Firefox等,在无UI的环境下模拟真实浏览器行为。可执行JS获取动态内容。 ii WebDriver:Selenium等自动化测试框架,通过编程控制原生浏览器。如PhantomJS、Pyppeteer等。 iii HTTP拦截:Charles、Fiddler等抓包工具,拦截XHR请求,直接获取Ajax数据。 动态爬虫在众多场景下不可或缺,如电商比价、舆情监测都离不开其支持。动态爬虫的缺点是:启动浏览器内核开销大,性能远不及静态爬虫;被反爬风险也更大。 另外,为了提高爬虫的鲁棒性,往往需要引入代理调度中间件如Crawlera,处理好流量控制、故障转移、任务调度等。主流的分布式爬虫框架包括:Frontera、Scrapy-Redis、DistributedCrawler等。 需要强调的是,爬虫作为公网数据获取的主要手段,必须严格遵守Robots协议,合法合规地开展数据采集。对版权数据更应谨慎对待,必要时需要获得站长授权。总的来说,开发一套高质高效且合规的爬虫系统绝非易事,需要综合软硬件、法务等多方面考量。 2. 语音视频大数据的采集与挖掘 随着多模态大模型的崛起,语音、视频数据的重要性愈发凸显。如微软的Tango、Meta的CAIRa等大模型,都需要大量带文本标注的语音视频数据。让我们看看这一领域的主流数据采集方案: 1) 视频网站批量下载:YouTube、BiliBili等视频网站拥有海量UGC视频,是语音视频数据的重要来源。批量下载工具主要分两类: i 站点视频下载器:You-Get、Youtube-dl等,支持数百个主流站点。缺点是不能批量下载,也不能定制视频清晰度等参数。 ii 站点视频爬虫:利用爬虫框架如Scrapy,批量获取视频链接,结合ffmpeg等下载。可完全定制下载策略。一般采用站点视频爬虫方式,获取元数据如标题、简介构成配套的文本语料。下载后的视频还需经过内容审核,滤除低质、违规视频。这需要借助于视频内容理解、NSFW检测等AI技术。 2) 音视频众包:与文本类似,带标注的语音数据也离不开众包。但相比文本,语音标注的成本更高,专业性更强。需要标注人员同时具备语言和领域知识,才能准确转写专业词汇缩写等。 另一方面,语音数据的隐私性更强。众包过程必须对原始数据进行脱敏,去除涉及隐私的片段。同时要对标注人员的背景进行审查,签署保密协议。一些敏感领域的语音数据如军事、医疗,必须在内部完成标注,不能对外众包。 Mozilla的Common Voice就是一个优秀的语音数据开源项目。通过志愿者在线录制并验证,目前已收集了100+语种,数千小时的语音数据。阿里、搜狗等国内企业也通过用户手机App、输入法等工具,积累了大规模中文语音数据集。 一提到语音数据采集,ASR(语音识别)是绕不开的话题。近年来,ASR技术快速发展,为语音文本数据的自动化生产提供了可能。如利用Kaldi、Wav2Letter等开源工具包,可对语音数据进行自动转写,大幅降低人工转写成本。当然,ASR转写仍难以完全替代人工,尤其是方言、口音较重的语音。一种常见做法是,先由ASR粗略转写,再由人工校对修订。阿里等企业在其语音助手中大量采用这一方案。 除了语音转写,语音数据的降噪、分割也是重要的预处理环节。工业级的语音处理流水线需要包括: i 静音检测:Webrtc的VAD、TensorFlowVAD等,滤除无效静音片段。 ii 回声消除:Speex、WebRTC等,去除线路回声干扰。 iii 语音降噪:Audacity、Sox等,去除背景噪音。 iv 说话人分离:Conv-TasNet、DPRNN等,将多人语音分离为独立音轨。 视频数据的采集要复杂得多。原因有二:一是视频数据规模更大,采集成本高。二是视频语义信息更丰富,需要更复杂的处理。主要的视频数据采集方法包括: i 专业采集:搭建视频采集棚,由专业人员拍摄制作。数据质量有保障,但成本很高。一些自动驾驶公司采用此方案采集路测视频。 ii 众包采集:利用视频众包平台,如AWS的Mechanical Turk,发布拍摄任务。质量略逊于专业采集,但成本更低,更适合通用数据采集。 iii 监控视频采集:从已有监控系统提取视频数据。如商汤科技从社区监控采集人流、车流数据。这种方式成本最低,但对数据隐私和版权要格外小心。 采集到的原始视频需经过一系列预处理,才能输入到视觉算法中。主要的视频预处理技术包括:关键帧提取: i 提取关键帧,滤除冗余帧。如PySceneDetect、Frame-Extractor等。 ii 目标检测:检测并定位视频中的目标物体。如YOLOv5、EfficientDet等。 iii 目标跟踪:在不同帧间标识同一目标物体。如DeepSORT、FairMOT等。 iv 动作识别:识别视频中的人物动作。如TSN、X3D等。经过这些处理,原始视频被结构化为一系列带标注的图像和物体轨迹,为下游任务如视频分类、问答奠定了基础。可以说,高效采集语音视频数据离不开AI本身。数据采集和模型训练相互促进,形成正向循环,这是多模态AI发展的内在逻辑。 3. 知识图谱:结构化知识库 知识图谱是以RDF三元组形式,系统描述概念、实体及其关系的语义网络。知识图谱是认知智能的重要基础,如智能问答、推荐系统等都依赖其支持。知识图谱构建的第一步,是海量网页文本中提取实体和关系,形成初步的实体关系图。这一过程也称为知识抽取,技术路线主要有: 1) 基于模板的知识抽取: i 手工模板:专家定义一系列模板,如"A是B的C"等。该方法构建成本高,覆盖面窄,仅适用于特定领域。 ii 自动模板:利用Snowball、DIPRE等算法自动生成模板。先由少数种子实例出发,迭代学习新模板和新实例。 2) 基于深度学习的知识抽取: i 命名实体识别:利用BiLSTM-CRF、BERT等模型识别句中的命名实体,如人名、地名等。 ii 关系分类:判断两个实体间是否存在预定义的关系类型。常用CNN、BERT等方法。 iii 属性抽取:从文本中抽取实体的属性值,如时间、数量等。 工业界知识抽取常采用基于深度学习的方法,再结合规则进行校验补充。如阿里知识图谱从百科、电商等网页中抽取了数亿实体,定义了数百种关系、数千种属性类型。 抽取得到的原始知识还很粗糙,需要一系列优化过程,包括: i 指代消解:将代词、同义词等映射到规范实体。 ii 实体统一:发现不同来源的重复实体,消除冗余。 iii 知识融合:发现不同模板抽取的重复关系,选取置信度高的关系。 iv 知识推理:利用规则学习算法,挖掘隐含关系。 此外,还需将知识图谱与本体进行映射,赋予知识更明确的语义。本体构建一般采用人工方法,由领域专家定义核心概念、关系。对于通用领域,也可复用WordNet、Cyc等现有本体资源。 传统知识图谱以结构化为主,但近年来出现了众多图谱预训练语言模型如ERNIE、CoLAKE等。它们采用类似Word2Vec的方式,通过知识图谱中的随机游走序列,学习节点和关系的语义嵌入表示。这种做法融合了知识图谱的结构信息和文本语料的语义信息,为知识表示开辟了新的方向。 知识图谱数据的采集与应用密不可分。如智能音箱领域,需要采集语音-文本-意图-动作-反馈等多环节数据,并形成知识闭环。这对数据治理提出了更高要求。需要打通数据采集、存储、计算、应用的全链路,实现数据的自动化、智能化管理。 4. 行为数据采集 行为数据指用户在使用产品过程中产生的数字足迹,包括浏览、点击、评论等用户事件。相比其他数据源,行为数据最能反映用户的真实意图和偏好,对个性化服务至关重要。以推荐系统为例,其核心是根据用户历史行为预测用户对新物品的兴趣。用户行为数据可分为以下几类: 1) 用户属性数据:人口统计属性如年龄、性别、地域等,以及兴趣偏好标签。一般由用户在注册、填写问卷时显式提供。 2) 用户交互数据:用户与物品的直接交互,如浏览、收藏、购买商品,观看、点赞视频等。交互数据直接反映了用户对物品的兴趣,是推荐系统的核心数据源。 3) 用户社交数据:用户在社交网络中的关系链数据,如好友、关注、提及等。基于同质性原理,近朱者赤,用户的社交网络能揭示其兴趣和影响力。 4) 用户反馈数据:用户对推荐物品的显式反馈,如评分、点赞、评论等。反馈数据相比交互数据更稀疏,但对提升推荐质量很重要。 5) 场景数据:如时间、地点、设备等用户当前的环境因素。场景因素会影响用户的即时需求,是上下文相关推荐的关键。 用户行为数据采集的主要途径包括: 1) 服务器日志:用户与应用服务器的每次交互,都会在服务端日志中留下记录。日志采集工具如Flume、Logstash等能实时收集海量日志,并存入HDFS等分布式存储。 2) 客户端埋点:在客户端预置采集代码,触发特定事件时上报数据。相比服务端日志,客户端埋点更灵活,数据粒度更细。典型的埋点SDK有GrowingIO、Sensors等。 3) 应用内Tracker:应用内置的行为跟踪器,如Android的Tracker、iOS的AppTrackingTransparency等。相比埋点,Tracker的接入更简单,但定制化程度较低。 4) 可视化埋点:通过类似Selenium的自动化工具,记录用户在应用页面的操作轨迹。相比代码埋点,可视化埋点的实施成本更低,非常适合中小企业。 值得注意的是,不同采集渠道的行为数据在格式和语义上往往不一致,需要通过数据集成进行统一。ETL工具如DataX、Kettle,以及大数据平台Hive、Spark SQL等是常用的数据集成方案。集成后的行为数据在进入推荐流程前,还需经过一系列数据预处理,如: i 数据清洗:剔除非法数据,如机器刷单产生的异常点击。可基于统计规则,或异常检测算法。 ii 会话重构:将原子事件按照时序关联为会话,挖掘用户的主导目的。 iii 序列建模:对会话序列提取高阶统计特征,如购买高峰时段,品类偏好等。 如此经过采集、集成、处理的行为数据才能为算法建模所用。从原始数据到可用特征,往往要经过数十个环节的数据开发。阿里等大厂为此构建了灵活的大数据开发平台如Databricks,提供从数据接入、存储,到计算、应用的一站式解决方案。另一个值得关注的趋势是,利用在线学习、强化学习等技术,构建实时闭环的行为数据采集和应用。典型如广告系统,利用实时竞价获得用户反馈,动态调整出价策略。强化学习算法DQN、LinUCB等在此发挥了重要作用。阿里的智能调度平台Sigma,腾讯的广告投放引擎Vega都大量采用此类技术。 可以预见,随着用户互动方式的日益多样,对行为数据的采集分析能力,将成为企业数字化转型的核心竞争力。这不仅需要前沿的AI算法,更离不开端到端的数据智能架构。唯有打通全流程、全域数据,才能洞察用户需求,驱动业务增长。这是以用户为核心的数字化时代的必然要求。 二、大模型数据处理流程 了解了大模型对海量异构数据的渴求,让我们再来看看工业界是如何驾驭这些数据的。以下是一个典型的大规模机器学习数据开发流程: 1. 数据接入层 原始数据散落在业务库、日志、爬虫数据等各个系统,需要通过数据接入统一集成到大数据平台。数据接入的关键是如何平衡数据时效性和成本。对于实时性要求高的数据,常采用流式数据管道,通过Kafka、Pulsar等消息队列实时推送。LinkedIn的Brooklin、阿里的Canal、Facebook的Wormhole都是优秀的流数据集成框架。对于离线数据,则采用批量同步的方式,通过调度系统按天/小时增量拉取。如阿里的DataWorks、美团的Minos、360的Eleme等。进入大数据平台的原始数据一般存于Hadoop HDFS、云存储如S3等廉价存储介质。但这些数据往往杂乱无章,需要严格的数据治理。数据治理的核心是元数据管理,记录数据的业务口径、技术参数、血缘关系等。Atlas、阿里的Dataphin等是常见的元数据管理平台。 2. 数据处理层 原始数据"入湖"后还很粗糙,需经过系列加工处理,如数据清洗、数据集成、数据变换等,形成结构化、语义化的高价值数据集。 清洗过程通过一系列 detect-repair 操作,识别并纠正脏数据。常见数据质量问题包括:完整性(字段缺失)、唯一性(重复记录)、合法性(越界值)、一致性(逻辑矛盾)等。传统ETL采用SQL手工编写转换逻辑,对数据量大、Schema复杂的场景难以应对。基于 DAG 的 ETL 框架应运而生,如Airflow、阿里的DataWorks等。 它们将ETL流程抽象为有向无环图,每个节点完成特定转换,后一节点严格依赖前节点输出。DAG架构使ETL流程灵活可配置,极大提升了数据处理效率。Spark、Flink等分布式计算引擎在数据处理中扮演核心角色。它们基于内存计算,可实现比Hadoop MapReduce快数十倍的批流处理。 Spark的DataFrame、Flink的Table API进一步简化了分布式计算的编程复杂度,使数据开发像SQL一样简单。数据处理的一个重要目标是形成主题域的业务数据模型,如用户域、商品域等。阿里提出的数据中台概念,本质上就是一套统一、共享的业务数据模型,为上层应用提供标准化数据服务。 工业界数据处理的一个重要趋势是向云上迁移。云厂商如AWS、阿里云纷纷推出大数据平台产品,将存储、计算、调度打包提供。用户可按需按量付费,显著降低了总拥有成本。同时云服务的弹性伸缩能力,可轻松应对双十一等洪峰流量,这是传统私有集群难以企及的。 3. 特征工程 数据经过清洗、集成、ETL,离可用于机器学习尚有最后一步,即抽取有判别力的特征。特征工程往往决定了机器学习的效果上限。 特征抽取要因任务而异。如排序类任务关注物品之间的相对顺序,特征多基于统计量如CTR、转化率等。推荐类任务重在刻画用户兴趣,特征侧重于交互序列、共现频率等。搜索类任务需捕捉query-doc相关性,特征多围绕文本相似度、语义匹配展开。 常见的特征抽取方法有: 1)统计特征:如均值、方差、百分位等,刻画数据的集中趋势、离散程度等。 2)频次特征:如TF-IDF、人工定义的业务频次等,反映事件发生的频繁程度。 3)交叉特征:将多个特征组合形成的高阶特征,挖掘特征间的非线性关系。如年龄 X 性别 X 职业。 4)嵌入特征:将高维稀疏的 ID 类特征压缩为低维稠密向量,如word2vec、node2vec等。 5)图特征:挖掘社交网络中的节点重要性、社区结构等,如PageRank、社区发现等。 传统的特征抽取高度依赖专家经验,存在成本高、迭代慢等问题。自动特征工程应运而生,通过机器自动生成、筛选特征。其代表方法有: 1) 深度学习:利用CNN、RNN等自动学习层级特征表示。如PNN、DeepFM等。 2) 表示学习:通过随机游走在异构网络中学习节点嵌入。如Airbnb的Embedding一体化平台。 3) AutoML:自动化机器学习流程,包括超参调优、神经网络架构搜索(NAS)等。如阿里的PAI、腾讯的 Angel 等。 自动特征工程是AI驱动数据开发的重要方向,相比人工,其优势在于:覆盖率高,可自动挖掘高阶组合特征;迭代快,新数据的特征快速上线;适应性强,可端到端优化适应下游任务。当然,自动化方法并非灵丹妙药,关键特征的生成仍离不开对业务的理解和抽象。 抽取的原始特征还需经过特征选择,去除冗余和共线性特征。常用方法有平均精度、递归特征消除等。此外,对数值特征还要进行归一化,将不同尺度的特征映射到同一量纲。如Min-Max归一化、Z-score归一化等。对类别特征还要进行编码,如One-Hot 编码、Target 编码等,使其满足机器学习算法的输入需求。 特征工程是算法与业务结合的纽带,往往是数据开发最费时费力的环节。阿里的特征平台、美团的Cube就是为了应对特征工程而生。它们建立统一的特征仓库,为不同业务提供特征注册、存储、共享、监控等一站式服务。打通线上线下环境,实现特征的自动化生产。这大大提升了算法迭代效率,也促进了特征在业务间的复用。 4. 样本构建 万事俱备,只欠东风。模型训练的最后一环,是从特征中抽取样本(X,y)。X是特征向量,y是目标标签。样本构建要考虑以下几点: 1) 样本代表性:抽样要均匀覆盖目标人群,避免选择偏差。如分层抽样、配额抽样等。 2) 样本平衡性:各类样本的数量要均衡,避免稀有类被忽略。如过采样、欠采样等。 3) 样本时效性:在线学习场景要注意样本的新鲜度,及时淘汰过期样本。如Time-Decay采样等。 4) 样本数据干净,无各种异常点、离群值。不合理的样本会引入噪音干扰模型训练。 工业界样本构建一般基于数据平台的调度框架,如Airflow、Oozie等。它们以DAG工作流形式描述样本构建过程,自动化执行抽样、特征提取、数据合并等步骤。阿里的样本工厂、腾讯的Metis都是这一思路的优秀实践。样本构建是算法上线的最后一环,对效果影响重大。样本不当,再好的算法也难施展拳脚。谷歌用10%流量进行在线A/B实验,就是为了获得高质量的样本反馈。 样本的标签质量尤为重要,标注不一致、噪音过大都会严重影响模型效果。众包标注平台如Figure-Eight等,通过任务拆分、交叉验证等方式,保障标注质量。 总之,大模型背后是一整套严密的数据工程。从数据接入到样本构建,每一步都关系着最终效果。阿里的特征平台、腾讯的丰巢等,无不在打造端到端一体化的特征开发利用链路。它们屏蔽了数据处理的繁琐细节,让算法工程师聚焦于模型本身。这是AI驱动业务发展的大势所趋。 三、行业实践:GPT背后的数据体系 理论讲完,让我们再来看看这些方法在OpenAI GPT-3中的实践。GPT-3的训练数据高达4500亿token,约800G文本。这在当时是前所未有的规模。那么,这些数据是怎样获取、处理,最终喂给模型的呢? 1. 数据源:高质量网页语料 GPT-3使用了以下几个主要语料库: 1) Common Crawl(60%):一个开放的网页爬取项目,GPT-3使用了其2016-2019年间的快照数据。CC数据广泛但噪音大,需大量清洗。 2) WebText2(22%):从Reddit帖子外链的高质量网页构建。先从8亿条Reddit帖中抽取karma>3的帖子,再提取帖中的URL,获得4000万个高质量网页。相比CC,WebText噪音小,但覆盖面窄。 3) Books1 & Books2(8%):两个图书语料,前者多为版权过期的古籍,后者为网络图书。书籍语料连贯性强,但话题单一。 4) Wikipedia(3%):英文维基2020/03版全部文章。百科有较强的权威性和连贯性,但缺乏口语化表达。 此外还有5%的其他数据,如谷歌新闻等。可见,GPT-3的语料以网页为主,注重了数据质量,但话题和文体的全面性有欠缺。这导致其在一些特定领域表现不佳。 2. 数据清洗:以规模换质量 GPT-3没有对数据做太多复杂处理。原始HTML用Hadoop集群批量提取正文、分句,再过滤掉低质内容,如:太长或太短的文档(<128字或>1M字)、重复度高的文档(如模板广告页)、低可读性文档(如代码、表格等)、非英语文档 之后,所有文本被BiT模型编码为token,组成最终的训练语料。值得一提的是,为了避免不同来源文本的分布差异,GPT-3对所有文档的采样概率做了平滑,削弱了高质量但话题单一的语料的影响。 这样的数据清洗流程其实颇为粗放。OpenAI也承认质量是GPT-3语料的短板。但凭借超大规模,GPT-3最终还是学到了强大的语言模型。这或许印证了"以量变达质变"的哲学。 3. 模型训练:混合精度+Kernel优化 GPT-3的训练过程主要有以下特点: 1） 预训练+微调:先在全量语料上预训练Language Model,再在下游任务数据上微调。这种迁移学习典型的two-stage方法。 2） 混合精度训练:用FP16和FP32 Tensor混合表示模型参数。FP16可减少显存占用,加快训练,但部分layers如Softmax仍用FP32保证数值稳定性。 3） 显存优化:只在GPU上保留当前mini-batch所需的参数和梯度,其他parameters存于CPU内存。使训练可在单卡GPU上进行。 4） Kernel优化:用NVIDIA的cuBLAS库优化矩阵乘等关键运算,提高GPU利用率。 5） 梯度检查点:每隔一定step保存梯度,节省前向传播时的显存。该技巧常用于训练大batch尺寸。 OpenAI表示,3000亿参数的GPT-3模型完成训练仅用了10天,平均算力利用率高达50%。这得益于上述一系列性能优化。但仍有学者质疑,仅靠优化很难如此高效,期间是否有预训练参数的迁移复用? OpenAI对此未置可否。 4. 推理部署:API形式对外开放 与BERT等开源模型不同,GPT-3并未公开模型checkpoint。相反,OpenAI以API形式提供模型调用。开发者可以通过API接口,用少量样本在特定任务上 fine-tune GPT-3,并将训练的提示(prompt)保存在云端。 这种 API as Model 的部署方式有几点好处: 1) 模型IP易于保护。用户无法获取GPT-3底层参数,避免了被clone、滥用的风险。 2) 计算资源易于管理。所有任务调度、资源分配由云端统一控制,避免终端设备算力浪费。 3) 模型持续优化。用户上传的数据、反馈可用于持续训练模型,API升级也更方便。 当然,这也存在一些隐忧: 1) 推理延迟较高。所有请求都要通过远程API,难以应对实时性要求高的场景。 2) 隐私安全存疑。用户数据会上传至OpenAI服务器,隐私保护措施尚不明确。 3) 定价不够灵活。目前仅按API调用次数计费,对中大用户缺乏针对性优惠。 一些研究者还尝试了基于梯度Checkpoint、GPU集群的推理加速方案,但尚未在生产中得到验证。如何在云端高效、经济地 Serving 大模型,仍是一个开放的挑战。GPT-3背后是一整套数据智能架构。从数据采集、清洗到特征抽取、样本构建,再到训练优化、推理部署。每个环节都离不开大数据、分布式计算等前沿技术的加持。这是对工业界机器学习落地能力的一次集中检验。 来源（公众号）:DATA数据社区

本文深入解析数据模型的重要性与类型——概念、逻辑与物理模型，为数据库设计提供蓝图。探讨关系、维度、图数据建模技术，强调模型在确保数据治理、合规性及提升业务效率方面的作用。数据模型：数据战略的核心，助力企业实现数据价值最大化。

引言 当前，我国数据资源流通的“采-存-管-用”规模已基本形成，但“供-流-用-管”等环节仍存在诸多问题，具体问题如下： 数据资源供给质量参差不齐 数据资源供给水平受到数据质量、规模、结构以及采集和治理能力等多方面因素影响。不同地区、不同行业和机构在数据来源以及数据采集处理技术上存在显著差异，导致数据资源质量参差不齐，影响数据流通效率和效果。例如，一些机构或企业拥有高质量、大规模、结构化的数据资源及先进的数据采集和治理能力，而另一些则相对薄弱。这种不均衡现象在金融、医疗等领域表现得尤为突出。 数据资源流通路径不畅 传统数据流通方式面临安全与效率问题，新技术虽具潜力但尚不成熟。传统数据流通方式往往以数据包形式或明文数据API接口对接，数据安全风险高，难以保障数据所有者利益，且在数据实时处理、分析预测等方面存在局限性。例如物流行业需实时数据来优化配送路径和仓储管理，但传统技术面对海量数据效率低下，“双十一”期间快递公司因传统数据流通模式无法满足实时处理需求，导致配送效率低下、客户体验不佳。当前，隐私计算、区块链等新兴技术虽能保障数据安全流通，但技术互联互通仍面临挑战。 数据资源利用不易 数据使用方难以精准获取高价值数据且难以安全合规使用。数据供需信息不对称、数据深度分析能力不足等，导致数据使用方难以从海量数据中获取高价值数据，同时数据质量参差不齐、对原始数据深加工不足等问题导致数据整体价值不高。此外，数据安全与隐私保护技术的不成熟也制约了数据资源的高效利用。 数据安全监管不力 随着云计算、大数据及物联网技术的应用，数据生成量和存储量急剧增加，安全风险也不断增加，同时人们对数据隐私保护及安全合规需求提高，需完善法律法规并采用更高级智能的数据安全技术应对。 数据资源流通顶层理论框架设计 为了解决数据资源流通中存在的问题，实现数据资源价值最大化，迫切需要构建一套科学合理、全面系统的数据资源流通顶层理论框架。本文从全局角度出发，研究分析数据资源流通利用过程中所涉及的关键角色、流通模式等，搭建一个涵盖数据“供-流-用-管”全生命周期的顶层理论框架，为后续数据空间建设提供理论参考。 数据资源流通关键环节分析 基于数据资源流通“供得出”“流得动”“用得好”“管得住”“保安全”的需求，分析数据资源“供-流-用-管”环节涵盖的关键数据行为，以及为实现这些数据行为所需要的技术路径支撑。 供得出：数据供得出的前提是“有数”、关键是“质量”。自动识别、自动导入、自动录入、数据接口等数据采集技术可支持数据快速、高效地采集；数据清洗、数据结构化、数据标准化、数据标注、数据自动分类分级、多元异构数据融合等数据治理技术可提升数据质量；湖仓一体架构技术、云边协同等数据存储技术可保证数据高效、快捷、安全地存储和服务；最后通过编目技术等生成数据目录，为数据供出做好准备。 流得动：流得动的前提是数据要有价值，关键是要有一套可信的数据资源流通环境。数据合成、数据编织、数据分析等数据加工分析技术可有效地挖掘数据价值；数据标识、区块链、隐私计算、空间连接器、数据加密等数据资源流通技术可以确保数据资源流通环境的安全可信。 用得好：用得好的关键是数据产品与需求实现精准对接。分布式目录、数据搜索等发布索引技术，以及数据封装、数据分析、大模型等分析应用技术可支持数据产品价值释放。 管得住：管得住的核心是“安全合规”。多因素身份认证、数字签名等可信身份认证技术，信源加密、信道加密等可信传输技术，区块链、存证和证据交叉认证等存证与追溯技术，数据登记、跨域管控、数据安全审计、合规审计等监管与审计技术，共同支持数据资源流通全链条合规溯源。 数据资源流通关键角色定义 在数据资源流通面临诸多挑战的情况下，明确数据流通参与方角色职责对于构建有效的数据流通体系至关重要。本文通过研究各参与方在数据资源流通各环节的职责，设计划分五大关键角色：数据提供方作为数据源头，其数据质量和管理水平直接影响后续流通环节；数据服务方通过专业服务挖掘并提升数据价值；数据运营方则搭建平台促进交易流通；数据使用方在合规使用数据的同时反馈问题，形成新的数据资源回流给数据提供方；数据监管方监督整个流程保障权益。这些角色相互协作、相互制约，共同推动数据资源流通利用。在实际操作中，角色之间关系并非一成不变，一个组织可能承担多个角色，并且随着市场发展还可能出现新的角色。 数据提供方：负责收集、生成和管理原始数据，确保数据完整性、准确性和数据质量。制定数据共享和使用的规则条件，遵守数据安全和隐私保护的相关法规。 数据服务方：提供数据清洗、标准化、结构化等专业的数据工具和数据加工服务，建设数据专区、数据加工厂等，开发数据分析模型和算法，提供数据价值评估、质量评估、能力评估等服务，确保数据服务过程的安全性和隐私性。 数据运营方：建立合规、互信、安全的技术体系，搭建和维护数据交易和流通平台，制定数据交易规则、流程、定价机制，促进数据供需双方的对接和交易流通，释放数据价值。 数据使用方：保护数据所有者和相关主体的权益，确保数据使用的合规性和安全性。按照约定的条件和规则使用数据，对使用数据产生的结果负责。同时，反馈数据质量问题，提供改进建议。 数据监管方：监督数据流通过程中各参与方行为，保障国家数据安全和各参与方权益。处理数据滥用、侵权等违法违规行为，推动数据要素市场健康发展。 数据资源流通主要模式设计 从应用层面讲，我国数据资源流通存在应用场景丰富、多元等特点，导致数据资源流通模式复杂多样，难以统一。本文提出集中式、分布式、分级式和混合式四种数据资源流通模式，可基本覆盖国内数据资源应用场景。用户根据具体情况选择合适的流通模式，或者结合多种流通模式，以实现数据资源的最优流通。集中式流通模式依托统一数据平台，具备高度集中化管理和运营的优势，能有效保障数据交易的规范性和安全性，但存在灵活性不足等问题；分布式流通模式在特定行业或领域展现出更高的灵活性和自主性，却面临数据标准化程度和监管难度的挑战；分级式流通模式适应行政管理体制，可有效保护地方权益，但技术差异可能影响数据标准化和互操作性；混合式流通模式灵活性强，可平衡各方利益诉求，但系统设计、实施和运维复杂度较高。通过合理设计流通模式，我们能够为数据资源流通利用体系框架的搭建奠定坚实基础，进而推动数字经济的全面发展。 集中式 该模式依托统一的数据交易市场和运营平台，所有数据提供方在此平台发布数据产品，数据使用方通过平台检索、购买和获取数据，平台提供统一的定价、结算、评价等服务。集中式流通模式特点在于高度集中化的管理和运营、标准化的数据交易流程和规则，便于监管和质量控制，有利于形成统一的数据定价机制，便于实施统一的安全和隐私保护措施，可实现数据的高效匹配和大规模流通。 分布式 该模式通过数据目录进行点对点交易和数据传输，不依赖中央平台，企业可直接发布数据产品信息，数据供需双方直接进行数据流通共享。分布式流通模式在特定行业或领域具有更高的灵活性和自主性，但此种模式数据标准化程度取决于数据提供方，数据质量难以保障，且点对点的数据共享交易使得监管难度较大。分级式该模式通常按行政层级（如省、市、区）建立数据目录和交易系统，各级系统之间建立连接，实现跨级数据共享流通。层级化的数据管理和流通体系可对不同层级的数据实施差异化管理。分级式流通模式可更好地适应各地行政管理体制，保护地方权益，但不同级别的系统可能存在技术差异，影响数据标准化和互操作性。 混合式 该模式可根据实际需求在不同领域或层面采用不同模式进行互联互通，如省市层面采用集中式、行业内部采用分布式、行政区域采用分级式，同时通过统一标准和接口实现不同模式间的互联互通。混合式流通模式灵活性强，能平衡各方利益诉求，可根据具体情况选择最优方案，并逐步演进以适应不同发展阶段的需求。但混合式流通模式的系统设计、实施和运维的复杂度较高，需要更高水平的管理和协调能力。 结论 本文通过剖析数据资源“供-流-用-管”流程面临的问题，从全局角度构建数据资源流通顶层理论框架。分析数据资源流通的关键环节并明确各环节的技术支撑，确保数据流通各阶段顺利进行；定义数据资源流通的关键角色，明确个体角色职责，保障流通体系有效运转；设计集中式、分布式、分级式和混合式四种数据资源流通模式以满足不同数据流通场景需求。此框架的建立为后续数据空间建设提供了理论参考，有助于提升数据资源的流通效率，推动数字经济健康、高效地发展。 来源（公众号）：数据治理体系

在数字经济飞速发展的今天，数据资产已成为推动各行各业转型升级的重要力量。特别是在低空经济与人工智能（AI）领域，数据资产的作用尤为显著。它不仅促进了这两个领域的深度融合，还推动了相关产业的创新发展，形成了独特的“飞轮效应”。 一、数据资产：低空经济的新引擎 低空经济依托低空空域资源，以民用有人驾驶和无人驾驶航空器飞行活动为牵引，辐射带动相关领域和产业链融合发展。随着低空经济的不断发展，海量的数据资源随之产生，包括飞行数据、传感器数据、物流数据等。这些数据通过大数据技术和AI技术进行处理和分析，能够优化低空空域中的交通流量、分析无人机的飞行路径、提高飞行任务调度的精确度和效率。例如，在物流配送领域，借助先进的数据处理技术，可以精准规划出最优的低空飞行路线，从而大幅降低运输成本，同时显著提高配送的时效性。此外，通过对飞行数据的分析，还可以预测飞行器的维护需求，提前进行故障排查，确保飞行的安全性。数据资产在低空经济中的应用不仅限于此。在智慧农业、应急救援、城市治理等领域，低空数据同样发挥着重要作用。通过收集和分析这些数据，可以实现对农作物生长情况的实时监测、对灾害现场的快速响应以及对城市交通流量的智能管理。 二、AI技术：数据资产的“加速器” AI技术在低空经济中的应用，进一步放大了数据资产的价值。AI技术以其强大的数据处理和分析能力，为低空经济提供了更精准、更高效的解决方案。 在无人机领域，AI技术可以实现无人机的自主飞行、智能避障和精准导航等功能。通过对飞行数据的实时分析，AI算法可以不断优化无人机的飞行路线和速度，提高飞行的安全性和效率。同时，AI技术还可以应用于无人机的维护和故障诊断，通过数据分析预测无人机的寿命和潜在故障，提前进行维护或更换部件。 此外，AI技术还可以与低空经济中的其他技术如5G、物联网等深度融合，打造更智能、高效的低空经济生态系统。例如，基于AI的无人机编队表演、空中广告等创新应用不断涌现，为低空经济注入了新的活力。 三、数据反哺：形成“飞轮效应” 在低空经济与AI技术的融合发展中，数据资产的作用不仅仅是作为输入信息，更在于其能够通过反馈机制不断优化和提升系统的性能。这种数据反哺的效应，形成了独特的“飞轮效应”。 一方面，低空经济产生的海量数据为AI技术提供了丰富的训练素材和验证环境。通过不断学习和优化，AI算法的性能不断提升，为低空经济提供了更精准、更可靠的解决方案。 另一方面，AI技术的应用又进一步推动了低空经济的发展和创新。通过智能化的管理和决策支持，低空经济的运行效率和安全性得到了显著提升。同时，AI技术还催生了新的商业模式和产业形态，为低空经济注入了新的增长点。 这种数据反哺的“飞轮效应”，不仅推动了低空经济与AI技术的融合发展，还促进了相关产业的转型升级和创新发展。随着数字技术的不断进步和应用场景的不断拓展，这一效应将更加明显和深远。 四、展望未来：数据资产驱动的低空经济新时代 展望未来，数据资产将继续驱动低空经济进入一个新的发展阶段。随着低空空域资源的进一步开发和利用，以及AI技术的不断创新和应用，低空经济将呈现出更加多元化、智能化的特点。 一方面，低空经济将不断拓展新的应用场景和商业模式。例如，在旅游观光、空中拍摄等领域，低空数据将为用户提供更加个性化、智能化的服务体验。同时，随着低空物流、空中出行等新兴业态的发展，低空经济将成为推动产业升级和消费升级的重要力量。 另一方面，数据资产的安全和保护将成为低空经济发展中的重要议题。随着数据量的不断增加和数据应用的不断深化，数据安全和隐私保护问题将日益凸显。因此，加强数据安全管理、完善数据保护法规体系将是低空经济持续健康发展的关键保障。 综上所述，数据资产在低空经济与AI技术的融合发展中发挥着至关重要的作用。它不仅推动了这两个领域的深度融合和创新发展，还形成了独特的“飞轮效应”，为相关产业的转型升级和创新发展提供了强大动力。展望未来，随着数字技术的不断进步和应用场景的不断拓展，数据资产将继续驱动低空经济进入一个新的发展阶段，为经济社会发展注入新的活力。 来源（公众号）：AI战略数字转型

DEEPSEEK作为智能一款助手，在数据治理体系中具有深远的影响。它通过提供智能化、自动化和高效化的解决方案，推动企业在数据治理变革与领域的优化。以下是EPSEEK对数据治理体系影响的多角度分析： 一、战略层面：推动数据治理目标的明确与实现 1. 数据价值挖掘 DEEPSEEK强大的数据分析通过能力，帮助企业识别数据中的潜在价值，并将其转化为可操作的业务洞察。这有助于企业在制定数据治理战略时更加聚焦于核心目标。 2. 数据驱动决策 DEEPSEEK支持实时数据分析和预测建模，为企业提供科学的决策依据。这使得数据治理不仅仅是技术层面的工作，而是成为企业战略的重要组成部分。 3. 数字化转型助力 DEEPSEEK通过智能化的数据治理工具，帮助企业加速数字化转型进程。它能够将分散的数据资源整合为统一的数据资产，为企业的数字化战略提供坚实基础。 二、组织层面：优化数据治理的组织架构与协作 1. 跨协作部门 DEEPSEEK支持多源数据的整合与分析，打破了传统数据治理中各部门之间的信息孤岛。通过统一的数据平台，企业可以跨实现部门的高效协作。 2. 角色分工优化 DEEPSEEK通过自动化工具（如数据清洗、标准化、验证等），减少了人工干预的需求。这使得数据治理团队能够将更多精力投入到战略规划和高价值工作中。 3.数据文化塑造 DEEPSEEK通过提供直观的数据可视化和报告功能，帮助企业培养“以数据为中心”的文化。这种文化能够员工推动更加主动参与地数据工作治理。 三、制度层面：完善数据治理的政策与流程 1. 数据质量管理 DEEPSEEK通过内置的数据清洗、去重和标准化功能，帮助企业建立完善的数据质量管理流程。这使得企业能够更好地满足行业标准和监管要求。 2. 数据安全与隐私保护 DEEPSEEK支持数据加密、访问控制和隐私保护技术（如匿名化和脱敏）。这有助于企业建立符合法规（如《个人信息保护法》、GDPR等）的数据安全制度。 3. 合规与审计 DEEPSEEK提供实时监控和审计功能，帮助企业记录数据处理的全过程。这不仅提升了企业的合规性，还为审计提供了可靠的支持。 四、执行层面：提升数据治理的效率与效果 1. 自动化工作流 DEEPSEEK通过自动化工具（如数据清洗、转换、加载等），显著提升了数据治理的效率。这使得企业能够更快地完成数据整合和分析任务。 2. 实时监控与反馈 DEEPSEEK支持实时数据监控和异常检测功能。这使得企业能够在问题发生时快速响应，避免潜在风险对企业造成重大影响。 3. 持续改进机制 DEEPSEEK通过机器学习和自然语言处理技术，能够不断优化自身的算法和模型。这使得数据治理体系能够随着业务需求的变化而持续改进。 五、技术层面强化：数据治理的技术支撑 1. AI与大数据技术融合 DEEPSEEK基于先进的AI技术和大数据分析能力，能够处理海量、复杂的数据源。这使得企业在面对多样化数据时更具技术优势。 2. 灵活的扩展性 DEEPSEEK支持多种数据源的接入和集成（如结构化数据、非结构化数据等），并且能够根据企业的实际需求进行灵活配置。这使得治理体系数据更具扩展性和适应性。 3. 云服务与安全性 DEEPSEEK依托云服务提供技术支持，确保企业在享受高效计算资源的同时，还能保障数据的安全性和可靠性。 六、其他影响：推动数据治理体系的创新与变革 1. 降低治理成本 DEEPSEEK通过自动化和智能化工具，显著降低了企业在数据治理中的时间和人力成本。这使得中小企业也能够轻松实现高效的数据治理。 2. 提升用户体验 DEEPSEEK通过自然语言处理技术，能够更以贴近用户的方式提供数据服务。这使得数据治理体系更加业务贴近需求，提升了用户的满意度。 3. 应对未来挑战 DEEPSEEK通过持续的技术更新和功能优化，帮助企业应对未来的数据治理挑战（如伦理AI、数据主权等）。这使得企业的数据治理体系更具前瞻性和可持续性。 总结 DEEPSEEK对数据治理体系的影响是全方位的。它不仅提升了数据治理的效率和效果，还推动了企业在战略、组织、制度和技术层面的变革与创新。通过智能化和自动化的手段，DEEPSEEK帮助企业构建了一个更加高效、安全和可持续的数据治理体系，为企业的数字化转型提供了强有力的支持。 来源(公众号）：数据治理体系

面向数据要素的数据资产管理和应用已成为提高生产运营效率的关键，使得数据资产价值愈发彰显，识别数据资产价值并充分利用是实现数据要素流通，促进数据价值转化的关键。基于运营商数据特点和价值体系，提出了适用于运营商的数据要素价值评估体系，从适用性分析、影响因素分析、价值评估流程、估值定价方法和运营策略五个方面阐述了数据要素评估过程。

成功部署 AI 智能体（Agentic AI）绝非易事。我们从实践中总结了宝贵经验，告诉你如何把这件事做对。 AI 智能体革命已经开启一年，一个教训也愈发清晰：想把它做好，必须下苦功。 通过 AI 智能体实现企业转型，有望带来前所未有的生产力提升。虽然有些公司已经尝到了甜头，但更多企业却发现，他们的投入迟迟不见回报。在某些情况下，他们甚至不得不“开倒车”——在智能体搞砸的地方，重新把人招回来。 这些磕磕绊绊是任何新技术发展过程中的必经之路，我们在其他技术创新中也见过类似的模式。为了总结早期的经验教训，我们最近深入研究了麦肯锡内部主导的 50 多个 AI 智能体项目，以及市场上的几十个其他案例。我们将分析结果提炼为六条经验，希望能帮助领导者们成功地从 AI 智能体中捕获价值。 1. 重要的不是智能体，而是整体流程 要想用 AI 智能体创造商业价值，就必须改变工作流程。然而，很多公司常常过度关注智能体本身或某个工具。这必然导致一个结果：造出了看起来很酷的智能体，却无法真正改善整体工作流，最终价值寥寥。 那些致力于从根本上 重构整个工作流程 的项目，更有可能取得成功。所谓工作流程，指的是涉及人员、流程和技术的所有环节。 理解智能体如何在每个环节中提供帮助，才是通往价值的正确路径。人类员工依然是工作的核心，但人类员工将拥有新的智能体、工具和自动化系统来辅助他们。 重新设计工作流程的一个重要起点，是梳理现有流程并找出用户的核心痛点。 这一步至关重要，它能帮助我们设计出真正减少重复劳动、让智能体与人类高效协作的系统。这种协作可以通过学习循环和反馈机制实现，形成一个自我强化的闭环。智能体用得越多，就会变得越聪明、越契合业务需求。 以一家另类法律服务提供商为例，该公司正致力于合同审查流程的现代化。他们所处领域的法律推理在不断演变，新的判例法、司法管辖区的细微差异以及政策解读层出不穷，这使得将专业知识固化为代码变得极具挑战。 为了适应这种天然的变化，团队设计的智能体系统可以在工作流程中不断学习。例如，用户在文档编辑器中的每一次修改都会被记录和分类。这为工程师和数据科学家提供了丰富的反馈流，他们可以利用这些反馈来“教导”智能体，调整提示词（prompt）逻辑，并丰富知识库。久而久之，智能体便能将新的专业知识内化。 关注流程而非智能体本身，能让团队在恰当的节点部署最合适的技术。这在重构复杂的多步骤工作流时尤其重要。例如，保险公司通常有庞大的调查流程（如理赔处理和承保），每一步都涉及不同类型的活动和认知任务。公司可以通过周密部署，将基于规则的系统、分析型 AI、生成式 AI 和 AI 智能体等多种技术巧妙地组合起来，并用一个统一的编排框架（如开源的 AutoGen、CrewAI 和 LangGraph）来支撑。在这种模式下，智能体扮演着编排者和整合者的角色，调用各种工具，并将其他系统的输出整合到自己的上下文中。它们就像“胶水”，将整个工作流程粘合在一起，用更少的人工干预，交付真正的成果。 复杂的工作流程应该为每个任务选择最佳工具。 2. 智能体并非万能解药 AI 智能体（AI Agent）功能强大，但并非所有任务都适合用它来解决。很多时候，领导者们没有仔细审视需要完成的工作，也没有思考智能体是否是最佳选择。 为了避免投资浪费或不必要的复杂性，企业领导者可以像组建一支高绩效团队那样来评估智能体的角色。关键问题是：“需要完成的工作是什么？每个潜在的团队成员——或者说智能体——各自有什么天赋，如何协同工作以实现目标？” 许多业务问题完全可以用更简单的自动化方法解决，比如基于规则的自动化、预测性分析或简单的大语言模型（LLM）提示，这些方法通常比开箱即用的智能体更可靠。 在匆忙上马智能体方案之前，领导者应该先评估任务的性质。具体来说，就是要明确：这个流程的标准化程度应该有多高？需要处理多大的变数？哪些部分最适合交给智能体来做？ 从某种程度上说，这些问题很直观。例如，变化少、标准化程度高的工作流程，如投资者开户或监管信息披露，通常受到严格管控，遵循可预测的逻辑。在这种情况下，使用基于非确定性的大语言模型（LLM）的智能体，可能弊大于利，只会增加复杂性和不确定性。 相比之下，变化大、标准化程度低的工作流程，则能从智能体中获益匪-浅。例如，一家金融服务公司部署了智能体来提取复杂的财务信息，大大减少了人工验证的需求，并简化了工作流程。这些任务需要信息聚合、交叉验证和合规性分析——而这些正是智能体大显身手的领域。 最重要的一点是，不要陷入“用或不用智能体”的二元思维。有些智能体擅长完成特定任务，有些能帮助人类更好地工作，而在许多情况下，其他技术可能才是更合适的选择。关键在于，要弄清楚哪种工具或智能体最适合哪项任务，人类如何与它们最有效地协作，以及如何将人、智能体和工具组合起来，以实现最大产出。 3. 别制造“AI垃圾”：重视评估，建立用户信任 在部署 AI 智能体时，团队最常遇到的陷阱之一是：系统在演示（Demo）中看起来惊艳全场，但实际负责这项工作的用户却被它搞得头疼不已。 我们经常听到用户抱怨“AI 垃圾”（AI Slop），即智能体输出的低质量内容。用户很快就会对智能体失去信任，导致采用率极低。自动化带来的任何效率提升，都很容易被信任的丧失和质量的下降所抵消。 这个反复出现的问题给我们带来了一个来之不易的教训：公司应该像培养员工一样，大力投入智能体的开发。 正如一位企业领导者所说：“引入一个智能体，更像是招聘一位新员工，而不是部署一套软件。” 智能体应该有明确的岗位职责，需要“入职培训”，并获得持续的反馈，这样它们才能不断进步，变得更有效率。 开发高效的智能体是一项极具挑战性的工作。它需要利用领域专家的知识来创建评估体系（evals），并将最佳实践以足够精细的粒度固化下来。这种固化过程既是智能体的“培训手册”，也是它的“绩效测试”，确保其表现符合预期。 这些最佳实践可能存在于标准操作流程（SOP）中，也可能只是专家们心照不宣的默会知识。在固化这些实践时，关键是要关注那些区分顶尖员工与普通员工的核心要素。对于销售代表来说，这可能包括他们如何引导对话、处理异议以及匹配客户的沟通风格。 至关重要的是，专家必须持续参与，长期测试智能体的表现。在这个领域，绝不能“上线就完事”。这种对评估的承诺，要求专家们亲手为给定的输入，标注出期望的（甚至不期望的）输出。对于复杂的智能体，这样的标注有时可能需要成千上万条。通过这种方式，团队可以评估智能体的准确率，并进行必要的修正。 一家全球性银行在改造其“了解你的客户”（Know-Your-Customer）和信贷风险分析流程时，就深刻贯彻了这一方法。每当智能体对合规性的建议与人类的判断不符时，团队就会找出逻辑上的差距，优化决策标准，然后重新进行测试。 例如，在某个案例中，智能体最初的分析过于笼统。团队提供了这一反馈，然后开发并部署了额外的智能体，以确保分析的深度能提供恰当粒度的有用见解。他们使用的一种方法是，连续多次追问智能体“为什么”。这种方法确保了智能体的优异表现，也使得人类员工更愿意接受它的输出结果。 4. 盯紧每个环节，而不只是最终结果 当只与少数几个 AI 智能体打交道时，审查它们的工作、发现错误还相对容易。但当公司推广成百上千个智能体时，这项任务就变得极具挑战性。更糟糕的是，许多公司只追踪最终结果。因此，一旦出错——而随着规模化，出错是必然的——就很难准确找出问题到底出在哪里。 智能体的表现应该在工作流的每一步都得到验证。 将监控和评估嵌入到工作流程中，可以让团队及早发现错误，优化逻辑，并持续改进性能，即使在智能体部署后也是如此。 例如，在某个文档审查流程中，一家另类法律服务提供商的产品团队观察到，当系统遇到一批新案件时，准确率突然下降。但由于他们在构建智能体工作流时，内置了可观测性工具来追踪流程的每一步，团队迅速定位了问题所在：某些用户群体提交的数据质量较低，导致了错误的解读和糟糕的下游推荐。 基于这一洞察，团队改进了数据收集实践，向上游相关方提供了文档格式化指南，并调整了系统的解析逻辑。智能体的性能很快就恢复了。 5. 能复用就别重复造轮子 在急于推进 AI 智能体的过程中，公司常常为每个识别出的任务都创建一个独立的智能体。这会导致严重的冗余和浪费，因为许多不同的任务实际上共享着大量相同的动作（例如，数据导入、信息提取、搜索和分析），同一个智能体本可以完成。 决定在构建可复用智能体上投入多少资源（而不是只做一个执行单一任务的智能体），类似于一个经典的 IT 架构问题：公司既要快速构建，又不能锁定那些会限制未来能力的选择。如何找到这种平衡，往往需要大量的判断和分析。 一个好的起点是识别那些重复出现的任务。公司可以开发能够轻松在不同工作流中复用的智能体和智能体组件，并让开发者可以方便地调用它们。这包括开发一套集中的[2]、经过验证的服务（如 LLM 可观测性工具或预先批准的提示词）和资产（如应用模式、可复用代码和培训材料），并确保它们易于查找和使用。将这些能力整合到一个统一的平台至关重要。根据我们的经验，这几乎可以减少 30% 到 50% 的非必要重复工作。 6. 人类依然不可或缺，但角色正在改变 随着 AI 智能体的不断普及，关于人类将扮演何种角色的问题引发了广泛焦虑——一方面是对工作保障的担忧，另一方面是对生产力提升的过高期望。这导致了关于人类在当今许多工作岗位中角色的巨大分歧。 需要明确的是：智能体将能完成大量工作，但人类仍将是劳动力中不可或缺的一部分 ，尽管智能体和人类所做工作的类型都会随着时间而改变。例如，人类需要监督模型的准确性、确保合规性、运用判断力以及处理边缘案例。正如我们前面讨论的，智能体并非总是最佳答案，因此人类与机器学习（ML）等其他工具的配合仍然是必需的。然而，在某个特定工作流中所需的人员数量，很可能会在经过智能体改造后发生变化，并且通常会减少。企业领导者必须像管理任何变革项目一样，来管理这些转型，并深思熟虑地分配培训和评估智能体所需的工作。 我们经验中的另一大教训是，公司应有意识地重新设计工作，让人员和智能体能够良好协作。 如果缺乏这种关注，即使最先进的智能体项目也可能面临“静默失败”、错误累积和用户抵制。 以前面提到的那家另类法律服务提供商为例，他们希望在法律分析工作流中使用智能体。在设计流程时，团队花时间确定了在何处、何时以及如何整合人类的输入。例如，智能体能够以极高的准确率整理核心索赔项和金额，但考虑到这些信息对整个案件的核心重要性，律师必须进行复核和批准。 同样，智能体能够为案件推荐工作方案，但考虑到决策的重要性，人类不仅要审查，还要调整建议。智能体还被编程来高亮显示边缘案例和异常情况，帮助律师形成更全面的看法。而在流程的最后，仍然需要有人用自己的执照和资历来签署文件，为法律决定承担责任。 这种人机协作设计的一个重要部分，是开发简洁的可视化用户界面，让人们能轻松地与智能体互动。例如，一家财险公司开发了交互式视觉元素（如边界框、高亮和自动滚动），帮助审查员快速验证 AI 生成的摘要。当人们点击某条见解时，应用程序会直接滚动到正确的页面并高亮显示相应的文本。这种对用户体验的关注节省了时间，减少了反复猜测，并建立了对系统的信心，最终带来了接近 95% 的用户接受度。 AI 智能体的世界正在飞速发展，我们可以预见未来将学到更多。但除非公司在推进智能体项目时，从思想上和实践上都抱持着学习的心态，否则他们很可能会重蹈覆辙，减慢自己的发展步伐。 作者：Lareina Yee, Michael Chui, Roger Roberts 来源（公众号）：CDO之家

系统地分析了数据要素流通使用过程中存在的安全风险问题，在总结国内外数据交易制度与规范、理论与技术的基础上，构建了事前-事中-事后全链路数据要素流通使用安全风险应对策略，提出了管理与技术相互协同的数据要素流通使用安全可信体系建设方案，为实现“数据来源可确认，使用范围可界定，流通过程可追溯，安全风险可防范”的可信可控数据交易提供借鉴，促进数据交易市场平稳持续发展。

超越传统数据目录：迈向数据发现与元数据管理2.0。随着数据复杂性的增长，现代企业亟需一种更智能、自动化的数据发现方式，以应对非结构化数据挑战、实现数据资产的动态可视与可靠性。数据目录2.0，强调自助服务、实时洞察与分布式数据沿袭，确保数据质量和可访问性，为决策提供黄金标准支持。探索未来数据治理的关键，解锁数据潜力，推动业务增长。