随着人工智能系统快速发展并开始影响社会几乎所有领域,关于治理的讨论主要集中在模型及其输出上:它们的透明度、公平性、问责制和一致性。然而,这种关注虽然必要,却并不全面。人工智能系统的可靠性、公平性和有效性完全取决于其训练和运行所依据的数据。 数据治理并非人工智能治理的边缘部分,而是其基石。 与此同时,人工智能的兴起不仅对数据治理提出了新的要求,更从根本上改变了数据治理。为了应对人工智能的能力和风险,数据的定义、管理方式、使用权限以及监管机制等都在被重新定义。 本文探讨了数据治理正在重塑的 10 个关键领域或转变——这些转变既是为了适应人工智能,也是人工智能的直接结果。 1. 重新定义数据的含义 从历史上看,数据治理的重点在于结构化的表格数据集。如今,重心已转移到非结构化数据:文本、图像、音频、视频和多模态内容,这些数据为大规模模型提供了支持。 大型语言模型(LLM)尤其依赖于从网络上抓取的大量语料库,这引发了关于出处、同意、版权和代表性等方面的新治理挑战。 与此同时,人工智能不再仅仅是数据的消费者,它也是数据的生产者。人工智能系统生成的合成文本、图像和信息越来越多地被反馈到训练流程中,这引发了模型崩溃的担忧,也使得对机器生成数据本身的治理框架变得尤为必要。 2. 从 FAIR 到 FAIR-R FAIR原则——可查找性、可访问性、可互操作性和可重用性——长期以来一直是数据管理的指导原则,并且仍然是实现负责任地访问和重用数据的基础。但人工智能系统需要更多。新增的“R”(面向人工智能的准备)则意在将 FAIR 原则的适用范围从可访问性和互操作性扩展到数据必须能够被算法使用的世界。 这意味着不仅要考虑技术特性,还要考虑治理、质量和伦理。FAIR-R 邀请各机构提出以下问题: ·数据是否已充分标注、平衡和记录,足以满足机器学习的需求? ·代理机构、来源和目的是否明确定义? ·谁来决定什么才算“负责任的再利用”? ·我们看到,需要将FAIR 扩展到 FAIR-R(Ready-for-AI),以包含以下内容: ·用于机器可解释的结构化元数据; ·更好地记录血统和出处; ·偏见和代表性评估; ·符合负责任的人工智能实践。 简而言之,数据现在不仅必须可重复使用,而且必须能够以安全、可审计且符合社会价值观的方式被机器重复使用。 3. 情境作为基础设施的兴起 缺乏上下文的数据在人工智能系统中越来越难以使用。模型不仅需要原始输入,还需要关于含义、关系和预期用途的结构化信息。 这促使人们开发出新的协议,例如模型上下文协议 (MCP),该协议旨在规范上下文(例如工具、记忆和环境信息)的结构,并将其与数据一起传输到人工智能系统。 上下文正在成为一种基础设施——受到管理、管理和标准化——塑造着人工智能系统如何解释数据和处理数据。 4. 从数据管理到战略数据管理 传统的数据管理侧重于合规性、标准管理和质量控制。但在人工智能时代,这远远不够。 战略性数据管理的需求日益增长——这是一种积极主动、目标明确的方法,它: ·使数据使用与业务价值保持一致 ·预计下游人工智能应用 ·跨行业的代理应用关系 ·实现大规模的负责任再利用 数据管理员的角色正在从数据保管者转变为数据生态系统的协调者。 5. 人工智能时代的新型许可制度 现有的数据许可框架(例如知识共享)在设计之初并没有考虑到人工智能训练。 对此,出现了新的方法,包括专门针对人工智能的许可证和信号机制(例如“ cc-signal ”),这些机制指示数据是否以及如何用于模型训练。 这些发展反映了更广泛的转变:从静态许可转向偏好信号和更动态、机器可读的数据权利治理。 6. 社会许可与参与式治理 仅靠法律合规和获得用户同意已不足以使人工智能系统中的数据使用合法化。公众信任越来越依赖于更广泛的社会许可概念。 我们看到参与式机制(公民大会、利益相关者咨询、社区治理模式)的兴起,这些机制使受影响群体能够影响有关如何使用其数据的决策。 这标志着同意从一种交易转变为一种过程。 7. 新的制度形式:数据共享及其他 为了应对数据提取和集中带来的风险,新的制度安排正在涌现,包括数据共享、合作社和信托机构。 ·这些模型旨在: ·融入集体治理; ·使数据使用与社区偏好和共同目标保持一致; ·重新分配数据生成的价值。 在人工智能领域,此类安排对于确保数据不仅被提取,而且被调动起来用于集体行动和公共利益至关重要。 8. 合成数据作为一种治理工具 合成数据——即人工生成的、模仿现实世界模式的数据集——已逐渐成为解决隐私、访问和稀缺性挑战的一种方法。 如果以负责任的方式实施,其治理意义包括: ·它可以实现安全的数据共享,而不会泄露敏感信息; ·它可以填补代表性不足数据集中的空白; ·它引发了关于保真度、偏差放大和滥用等方面的问题。 因此,合成数据不仅仅是一种技术解决方案,它本身就是一个新的治理对象。 9. 人工智能在数据治理中的应用 人工智能不仅受数据治理的约束,而且越来越多地被用于执行数据治理。应用领域包括: ·自动化数据发现与分类; ·质量评估和异常检测; ·监控合规性和使用模式; ·对数据集和模型进行偏差和风险审核。 这既带来了效率的提升,也带来了新的风险,因为治理本身也实现了部分自动化。 10. 人工智能代理在数据治理中的兴起 最后,人工智能代理(能够自主进行多步骤决策的系统)的兴起,标志着数据管理和治理领域进入了一个新阶段。这些代理已被用于: ·协商数据访问权限 ·执行治理规则 ·动态管理数据管道 ·作为用户和数据生态系统之间的中介 这引发了关于治理系统中授权、问责和控制的根本性问题,在这种系统中,机器代表人类行事。 小结:数据治理是一种动态实践 数据治理是人工智能系统赖以构建的基础。但在人工智能时代,它不再是静态的基础,而是一个动态的、不断发展的实践和系统,并受到其所支持的技术的塑造。 我们正迈向这样一个世界: ·数据治理塑造人工智能; ·人工智能重塑数据治理; 两者在一个持续的反馈循环中共同演化。 未来的挑战不仅仅是调整现有框架,而是要将数据治理重新构想为一种鲜活的实践和系统——能够确保人工智能不仅服务于效率和创新,而且服务于公平、问责制和公共利益。 来源(公众号):数据驱动智能
文 | 国家数据发展研究院院长 胡坚波 近日,国家数据局《数据产权登记工作指引(试行)》(以下简称《指引》)向社会公开征求意见。《指引》重点围绕登记机构管理、登记流程规则、登记凭证应用等方面,对数据产权登记活动的开展提出了全面、系统、科学的指导方案。《指引》构建起全国统一的数据产权登记体系,是落实数据产权制度的重要抓手,有助于降低数据流通交易成本,激发各主体供数用数活力,推动建立全国一体化数据市场。 一、把握政策目标:满足市场登记需求,建立市场信任机制 从数据市场实践来看,各类经营主体对数据登记的需求,往往集中在明晰产权归属、佐证来源合规、界定权责边界三方面。例如,登记凭证在数据资产入表、融资信贷场景中,可作为企业合法持有数据的证明;在数据流通交易场景中,可作为卖方合规尽责、买方善意取得的证明;在数据权属纠纷处置中,是厘清责任、界定权利的重要佐证。数据产权登记由可信登记机构,对数据描述准确性、来源合规性、产权明确性进行合理审慎审查并出具凭证,满足市场登记需求。 当前数据登记领域存在碎片化、多头化、不兼容等突出问题,制约数据高效流通使用。目前市场上存在多种数据登记类型,分属不同机构办理,登记对象、流程、审查标准及效力均不统一、互不通用,形成登记壁垒。经营主体为规避风险,不得不重复办理多类登记,承担了高昂的证明成本,影响数据流通积极性,阻碍数据要素价值释放。 构建全国统一的数据产权登记体系,是破解分散登记难题、构筑市场信任机制、降低数据流通成本的重要举措。数据产权登记通过统一登记流程等,降低重复登记成本,同时依托国家数据产权登记服务平台,实现统一公示、查询核验,以及“一次登记、全国通用”,降低数据市场信任机制的建设成本,为数据高效流通、深度开发利用夯实信任基础。 二、理解政策重点:健全登记规则设计,助力数据流通使用 (一)登记机构管理:择优遴选机构,平衡效率效力 相较于不动产登记、专利登记等传统领域以政府部门或事业单位为单一登记主体的模式,《指引》明确数据产权登记机构可涵盖事业单位与企业两类主体,兼顾公信力保障与市场活力激发。事业单位基于公共服务属性,能快速提升登记的社会认可度,全力保障登记业务的连续性与公信力。引入企业主体参与登记业务,既能盘活现有市场资源、快速推开登记工作,又能依托市场机制灵活适配需求、动态调整机构规模,优化数据全流程配套服务,为数据的价值挖掘提供支撑。 为保证登记效力与业务稳定性,《指引》通过三项重要制度设计构建起登记机构管理机制。一是登记机构遴选,考察申报机构的审查专业能力、风险赔付能力、流通服务能力等关键维度,通过择优遴选后,接入全国数据产权登记服务平台。二是明确管理规范,细化登记机构业务运营和监管要求,同步明晰机构信息变更、业务退出的全流程处置规则,确保全程可管可控。三是建设统一平台,将遴选确定的登记机构纳入全国数据产权登记机构目录、接入全国数据产权登记服务平台,若出现重大过失且拒不整改,则移出目录。 (二)登记流程规则:厘清登记边界范畴,规范全链操作流程 1.明确登记对象:锚定可流通数据,划定禁限边界 《指引》紧扣数据流通开发利用需求,将登记对象限定在可进入市场化流通的数据,同时针对公共数据、涉密数据等特殊情形作出清晰界定,兼顾合规性与实操性。针对公共数据资源,《指引》第十五条明确三类细化规则:党政机关履职中收集产生的数据,或基于履职需要委托授权第三方代收集的数据,不进行产权登记;公共数据资源授权运营后开发形成的产品与服务,在完成公共数据资源登记后,可依规办理数据产权登记;水气热电、公共交通等公用企事业单位提供服务产生的数据,除另有规定外,可办理数据产权登记。针对不予登记情形,《指引》第二十二条列明负面清单,涉及国家安全、国家秘密,来源违反法律法规,以及权属纠纷尚未解决的数据,不予登记,从源头守住数据产权登记的合规底线。 2.规范登记程序:搭建标准框架,明确审查要点 《指引》系统搭建了全流程登记程序和标准化分类登记的完整制度框架,明晰了登记实操规则,为登记活动提供了操作方案。在登记程序上,明确按照申请、受理、审查、公示、异议处理、信息存证、凭证核发七大环节规范推进,同时设定严格办理时限和补正告知要求,全程保障登记流程可追溯、结果不可篡改,兼顾合规严谨与服务效率。审查环节紧扣三大关键维度,明晰审查标准并细化实操要求。数据描述准确性方面,重点核查数据描述是否准确无歧义;数据来源合规性方面,审慎把好数据来源合规关,针对采集生成、协议取得、通过自动化程序收集公开数据、衍生创造等各类来源场景明确具体审查内容,同时强调须严守个人信息保护、数据安全等相关法律要求;数据产权明确性方面,准确界定数据持有权、使用权、经营权归属,明晰委托处理数据、复用公开数据、合作开发数据、衍生创造数据等场景的产权配置规则,确保产权界定清晰。在登记类型上,划分初次、转让、变更、续期、注销五大登记类型,明确初次登记为其他各类登记的前置基础,配套制定不同类型登记的申请表模板作为附件,供各登记机构参考使用;同时规范凭证有效期、跨部门互认、异议处置、资料查询等配套规则,实现登记流程、审查标准、文书格式的统一规范,保障登记工作高效落地。 3.优化登记收费:降低登记成本,保障可持续运营 为避免数据产权登记成为数据流通的隐性门槛,最大限度降低经营主体负担,《指引》不仅明确指出登记活动要遵循平等自愿原则,由各类主体自主自愿申请登记,同时也针对性制定两项收费规则:一方面引导登记机构主动降低登记收费,严禁登记业务强制绑定额外收费项目,切实减轻经营主体登记成本;另一方面允许登记机构针对经登记的数据提供价值延伸服务,以获取合理收益,反哺基础登记业务,既坚持普惠导向,又保障登记机构长期稳定运营,实现公益属性与可持续发展的有机统筹、协同兼顾。 (三)登记凭证应用:强化权属证明效力,实现全国互认通用 数据产权登记凭证的重要价值在于发挥权属证明效力,为数据市场化流转提供信任依据,是推动数据价值转化的重要基础。《指引》从制度层面筑牢凭证公信力,要求登记机构履行合理审慎审查义务,同时明确登记机构需因故意或重大过失登记错误承担相应赔偿责任,以责任压实倒逼登记质量提升,切实强化登记凭证效力。 《指引》还提出了鼓励凭证使用的部分场景:一是在数据流通交易环节,作为产权归属的证明,明晰交易双方权责,防范交易风险;二是在数据资产入表、融资信贷、作价入股等价值化场景中,作为市场主体合法持有、控制数据的重要依据,助力数据资源实现资产化转化;三是在数据权属纠纷、权益争议处置中,作为司法裁判、纠纷调解的证明;四是在数据企业培育认定等支持政策中,作为判断企业数据情况的参考。 (四)相关主体责任:明晰各方责任边界,筑牢登记合规底线 《指引》在第五章构建了权责清晰、过错归责的责任体系,明确登记机构、申请人、数据管理部门工作人员三类主体责任。其中,登记机构对登记结果准确性负责,存在登记错误、篡改信息、泄露资料等违规行为的,视情节采取限期整改、暂停接入数据产权登记服务平台、移出登记机构目录等措施,造成损害的依法赔偿;登记申请人需恪守诚信义务,严禁提供虚假材料或通过重复登记牟利等,违者依法承担民事赔偿责任,涉及违法犯罪的同步追责,从源头杜绝虚假登记;数据管理部门工作人员在管理数据产权登记活动中若存在滥用职权、玩忽职守等行为,要依法依规承担处罚或处分,构成犯罪的,要依法承担刑事责任。 (五)各类登记衔接:统筹多元登记业务,畅通互认协同机制 针对当前数据登记多头分散、互不兼容的痛点,《指引》明确了与其他数据登记的衔接规则,建立健全由数据管理部门统筹管理、协调统一的数据产权登记制度。一是与公共数据资源登记的衔接。《指引》明确除了政务数据不能进行数据产权登记,公用企事业单位公共服务产生的数据,除特殊规定外既能进行公共数据资源登记,也能进行数据产权登记,同时公共数据授权运营后形成的产品和服务,完成资源登记后也可办理产权登记。二是与其他类型数据登记的衔接。《指引》明确了衔接规则,此前已完成的其他类型数据登记,若有关审查事项与数据产权登记要求一致,可简化数据产权登记审查流程。 《指引》是推动数据产权制度走深走实的有力抓手,是我国数据基础制度建设历程中的又一件大事。《指引》的发布将激发各方参与数据产权登记的积极性,引导数据产权登记机构不断提升专业能力,壮大数据产权登记服务生态,促进数据价值释放,加快开放共享安全的全国一体化数据市场建设,为深入推进数字中国建设夯实制度根基。 来源(公众号):北京数据
前言 “数据驱动业务”是几乎所有企业数字化转型的口号。然而,现实却很骨感:不少公司建了庞大的数据中台,买了昂贵的BI工具,组建了专业的数据团队,但最终产出的报表和模型,要么被束之高阁,要么对业务决策影响甚微。为什么?因为大家不约而同地掉进了以下三个看似不起眼、实则致命的落地陷阱。 陷阱一,指标满天飞,口径无人管——“数据驱动”沦为“数据打架” 这是最普遍也最基础的问题。市场部说的“活跃用户”和产品部统计的不是一个数;销售团队汇报的“季度业绩”和财务系统里的对不上。当核心指标的定义、计算逻辑、数据来源都不统一时,所谓的“用数据说话”就成了一句空话,甚至会引发部门间的信任危机。 实践真知,我们曾服务过一家快速扩张的电商公司,其内部有超过5个不同版本的“GMV”定义。每次开经营分析会,各部门都要先花半小时解释自己用的是哪个口径,效率极低,结论也互相矛盾。 我们的解法是回归根本:建立企业级的指标管理体系。这不是简单地建一个指标字典,而是要完成三步走: 1. 业务对齐,召集所有关键干系人,共同确认哪些是公司的“北极星指标”和核心过程指标。 2. 技术固化,将达成共识的指标口径,以原子指标+派生指标的方式,在数据开发平台中进行标准化封装,确保“一处定义,处处使用”。 3. 持续运营,设立指标Owner,负责指标的解释、变更管理和问题答疑。这个过程需要极大的耐心和跨部门协调能力,但它是一切数据驱动的基石。没有可信、一致的数据,后续所有分析都是空中楼阁。 避坑指南 不要追求大而全,初期聚焦最关键的10-20个核心指标,打透做透,比维护几百个无人问津的指标更有价值。 不要只靠文档,指标口径必须通过技术手段固化到数据生产流程中,而不是躺在Confluence里吃灰。 优化方向,将指标管理与数据血缘深度结合,任何指标的变动都能自动追溯到上游影响范围,并通知到所有相关方,实现真正的闭环治理。 陷阱二,技术很先进,业务看不懂——“数据驱动”变成“数据自嗨” 很多数据团队容易陷入技术优越感,热衷于追逐最新的算法、最复杂的架构。结果是,辛辛苦苦做出的用户画像、智能推荐模型,业务部门却表示“看不懂、不会用、不敢信”。 实践真知,在一个零售客户的项目中,我们的算法团队开发了一个非常精妙的销量预测模型,准确率高达95%。但门店店长们却更愿意相信自己的经验。后来我们才明白,模型给出的只是一个冰冷的数字,而店长需要知道“为什么是这个数”,比如“因为天气预报说周末有雨,所以雨具销量会上升”。 于是,我们调整了策略,不再只交付一个预测结果,而是提供可解释的洞察。我们将模型的关键因子(如天气、促销、历史趋势)可视化,并用业务语言描述出来。这样一来,模型从一个“黑盒”变成了一个“参谋”,真正融入了店长的日常决策流程。 避坑指南 不要闭门造车,在项目启动之初,就必须让业务方深度参与,明确他们的真实痛点和期望的交付形式。 不要忽视“最后一公里”,再好的分析结果,如果不能无缝嵌入业务人员的工作流(比如CRM、ERP系统),就很难产生实际价值。 优化方向,培养“翻译型”人才,即既懂数据又懂业务的桥梁角色。同时,推动建设低代码/无代码的数据应用平台,让业务人员也能自助地探索和消费数据。 陷阱三,重建设轻运营,项目结束即终点——“数据驱动”无法形成正向循环 很多企业把数据项目当作一次性工程来对待。项目验收后,数据资产便无人维护,模型效果随时间衰减,用户活跃度日渐低迷。这导致数据驱动无法形成“应用-反馈-优化”的正向循环,最终项目成果被废弃。 实践真知,我们见过太多漂亮的BI看板,在上线三个月后就再也没人点开过。原因很简单:看板内容一成不变,无法响应业务的新问题;数据偶尔中断,也没人修复,久而久之大家就失去了信任。 真正的解决方案是建立数据产品的运营思维。这意味着: 设立专职的“数据产品经理”或“数据运营”角色,负责持续收集用户反馈,迭代优化数据产品。 建立数据健康度监控体系,对数据的时效性、完整性、准确性进行常态化监控,并设置告警机制。 将数据使用情况纳入考核,鼓励业务部门主动使用数据,并分享成功案例,形成组织内的数据文化。 避坑指南 不要把预算全花在建设期:务必为项目的长期运营预留资源和人力。 不要只关注技术指标:除了系统稳定性,更要关注业务指标,如DAU(日活用户)、报表采纳率、由数据驱动产生的业务收益等。 未来展望 跨越这三个陷阱,数据驱动才能从一句口号变为企业的核心能力。未来的竞争,不再是看谁拥有更多的数据,而是看谁能更高效、更敏捷地将数据转化为行动和价值。这条路没有捷径,唯有脚踏实地,从业务中来,到业务中去,才能让数据真正成为驱动企业增长的澎湃引擎。 来源(公众号):数据仓库与python大数据
数据仓库建得咋样?用这九个指标一量便知 数据仓库往往是企业重投入项目,但如何客观评价其建设成效?单凭感觉或口头汇报难免主观,今天我们从三个维度拆解九个可量化的核心指标,帮你用数据说话。 一、完善度:业务需求覆盖得全不全?完善度直接反映数据仓库对业务场景的支撑能力。如果业务方总抱怨“找不到数据”,说明完善度不足。 关键指标1:跨层引用率 公式:直接被汇总层(DWS/ADS/DM)引用的ODS表数量 ÷ 活跃ODS表总数 × 100% 意义:衡量明细层(DWD)的建设完整性。理想值应趋近于0,若出现大量跨层引用,说明DWD层缺失或设计不合理,导致重复开发风险。 优化建议:每月监控此指标,发现异常时优先补充DWD模型。 关键指标2:汇总数据查询比例 公式:汇总层查询次数 ÷ 数据仓库总查询次数 × 100% 意义:反映上层模型对高频需求的覆盖效率。健康值需超过80%,若比例持续下降,表明有新场景未覆盖。 实战案例:某电商平台通过提升此指标至85%,报表平均响应时间缩短60%。 二、复用度:是否实现“一次建设,多处复用”?复用度是数据中台核心价值的体现。高复用意味着更低的开发成本和更高的数据一致性。 关键指标3:模型引用系数 公式:有下游引用的表的下游表总数 ÷ 有下游引用的表数量 标准:低于2说明复用性差,3以上及格,5以上为优秀设计。 场景解读:若重要事实表仅被个别下游引用,需排查模型抽象是否合理。 关键指标4:数据血缘发散度 评估方式:通过血缘图观察链路结构,网状发散型为优,直线型为劣。 价值:发散结构可降低变更影响范围,例如调整一个公共模型,所有下游自动生效。 三、规范度:数据资产是否“看得懂、管得清”?规范度决定数据资产的可用性和维护成本。混乱的元数据会使得数据仓库沦为“黑盒”。 关键指标5:字段描述覆盖率 公式:有业务描述的字段数 ÷ 总字段数 × 100% 要求:核心表需达100%,整体不低于95%。字段无描述如同图书馆书籍无标签,无人敢用。 关键指标6:模型分层信息覆盖率 公式:有分层标记的表数量 ÷ 总表数 × 100% 意义:明确分层(如ODS/DWD/DWS)可快速定位数据加工阶段,减少误用。 关键指标7-9:主题域覆盖率、命名规范符合度、同义字段一致性 这三项共同保障数据的可管理性:主题域分类提升查找效率,规范命名降低沟通成本,同义字段一致避免歧义。建议均追求100%覆盖。 总结:指标是工具,行动是关键九个指标可分层应用:初创团队先抓规范度打基础,成长期提升复用度,成熟期持续优化完善度。建议每月生成指标报告,针对性改进薄弱环节。下次汇报时,你可以直接展示:“我们的模型引用系数已提升至4.2,跨层引用率降至5%”——这才是扎实的数据建设成果。 来源(公众号):数据治理体系
简而言之:传统的基于人工编写规则和被动检查的数据质量体系,从未针对智能体人工智能进行设计。到2026年,当自主代理处理错误数据时,没有人会介入以发现问题。那些在人工智能领域取得成功的组织,并非从更好的模型入手,而是从构建数据信任层入手,该信任层能够在代理采取行动之前检测、修复并自我修复数据。这才是现代自主数据质量的真谛。 大多数组织都认为他们已经解决了数据质量问题。他们制定了一些规则,设置了一些检查机制,组建了数据治理团队并为其提供了一套框架。在很长一段时间里,这些就足够了。 这已经不够了。 如今大多数企业所处的数据环境与当初设计的数据治理框架所针对的环境几乎截然不同。十几年前,一个典型组织的数据来自少数几个ERP和CRM系统。结构化的表格,可预测的模式,范围可控,规则易于维护。理论上,一个人就能理解全局。 如今,平均每个企业管理着超过900个应用程序。每个应用程序都会生成数据。但它们之间大多无法有效通信。而几乎所有这些数据最终都应该流入企业领导层公开承诺、已列入预算并正面临交付责任的AI项目。 正是在这里,现代人工智能驱动的数据质量不再仅仅是数据团队需要关注的问题,而变成了业务连续性问题。 这些数字揭示了一个比大多数组织愿意听到的更残酷的真相。 Gartner 估计,平均每个组织每年因数据质量差而损失 1290 万美元。超过四分之一的组织报告称,每年损失超过 500 万美元,7% 的组织损失超过 2500 万美元。多年来,这些数字经常在董事会会议上被提及,通常是为了证明购买数据质量平台的必要性,然后就被悄悄地束之高阁。 到2026年,真正改变讨论走向的不是具体的金额,而是当下糟糕数据所造成的后续影响。 在传统的分析领域,人总是参与其中。一份报告显示数字错误,有人发现了,有人上报了情况。由于有人在问题扩大之前及时发现并处理,损失被控制在了有限范围内。 智能体人工智能彻底消除了这种缓冲。当自主智能体基于损坏的数据做出决策时,它不会停下来进行健全性检查,而是直接行动。它会配置错误的基础设施,触发错误的工作流程,并向客户提供错误的建议。而且,由于智能体以机器速度在深度互联的系统中运行,因此,在任何人意识到发生了什么之前,单个数据质量故障就可能蔓延到整个流程。 这是自动化数据质量基础设施在2026年需要解决的核心问题:不是为分析师发现错误,而是在客服人员采取行动之前就发现错误。 到2026年,全球人工智能支出预计将超过2万亿美元。每一美元的投资都取决于流经其中的数据质量。数据质量差不仅会降低人工智能的投资回报率,在智能体环境中,它还会造成大规模的危害。 我们一直以来衡量人工智能准备度的方式都是错误的。 57% 的组织表示,他们的数据尚未准备好用于当前或未来的 AI 应用场景。考虑到过去十年在数据基础设施方面投入的巨额资金,这一比例令人震惊。这不仅暴露出数据问题,也暴露出衡量标准问题。 大多数组织会从完整性、准确性和一致性三个方面评估数据质量。这些维度固然重要,但它们的设计初衷是基于最终用户是经过深思熟虑的人类分析师这一前提。对于自主人工智能系统而言,标准则截然不同,而且要高得多。 人工智能代理不仅需要知道某个字段是否有数据,还需要知道数据在上下文中语义是否正确,其值在相关数据点的背景下是否合理,数据来源是否可信,以及数据是否足够新,足以支持正在做出的决策。现代人工智能驱动的数据质量框架现在包括语义验证、跨源一致性检查、漂移检测和质量评分,这些功能可以告诉代理在特定时间点应该对特定数据源赋予多大的权重。 这是对质量的根本性不同定义,也需要采用根本性不同的方式来实现。 规则时代已经结束了 传统数据质量的根本问题在于:它的设计初衷就是被动的。人预先设想出某种故障模式,编写规则来捕获它,然后系统根据这条规则进行检查。这种模式在数据环境稳定、维护规则手册的人员能够及时应对变化时是有效的。 这两个条件都不再成立了。 如今,数据来自数百个来源,格式瞬息万变,并且被输入到原本设计时并未考虑互操作性的系统中。任何分析团队都无法快速编写规则来应对这种变化。任何静态的规则手册也无法预见数百个系统以始料未及的方式交互时出现的各种故障模式。 现代智能体人工智能数据质量的转变在于,它从人类定义的规则转向机器发现的模式。这体现在数据量、速度和分布方面的行为异常,以及由于数据集之间的关系从未被正式记录而导致的、任何规则都无法预料的参照漂移。此外,还体现在时间上的不一致性,这种不一致性只有在观察数据随时间推移的行为时才会显现,而不仅仅是观察其是否通过了某个特定时间点的检查。 当发现的模式与既定规则相结合时,质量系统便真正具备了自适应能力。它能够学习每个数据集的正常状态,检测偏离该基线的情况,并在不良数据到达任何处理环节之前及时上报。 举个具体的例子。零售平台的订单表应该反映美国数千个司法管辖区的准确州和地方销售税。这些税率不断变化。基于规则的系统可以对照已知表格进行核对。但是,如何才能在错误累积到数万笔交易之前,就发现新产品类别中税费计算错误的模式呢?这种检测需要行为建模,而不是规则匹配。 79%的AI代理未能投入生产环境的真正原因 近五分之四的企业已经以某种形式采用了人工智能代理。但只有九分之一的企业将其大规模地应用于生产环境。这一差距是2026年企业人工智能面临的核心挑战,而围绕这一挑战的大部分讨论都集中在模型成熟度、编排复杂性和人才短缺等方面。 这些都是真实存在的因素。但最容易被忽视的因素是数据信任。 智能体故障几乎总是上下文故障。语言模型或自主智能体需要的不仅仅是数据,还需要数据背后的上下文:这些值的含义、当前生效的定义版本、数据来源、数据经历了哪些转换,以及数据是否足够新,足以支持所请求的决策。缺少这些上下文,智能体就会产生错觉,获取错误的信息,并根据技术上有效但语义上错误的信号采取行动。 自愈式数据管道和自动化数据质量基础设施之所以引人注目,并非因为它们能减少数据团队的手动工作量(尽管它们确实能做到这一点),而是因为它们能够确保将自主代理安全地部署到生产工作流程中,并信任其行为。到2026年,那些在智能体人工智能领域取得成功的组织,并非因为它们拥有更优秀的模型,而是因为它们首先构建了数据信任层。 自主数据质量在实践中究竟是什么样子 现代数据质量管理方法并非每天早上由专人查看的监控仪表盘,而是一个持续运行的系统。该系统能够理解其处理的每个数据集的预期行为,实时检测偏离预期行为的情况,评估其对下游数据的影响,并自动进行修复,或者提供足够的信息以便人工快速处理。 到2027年,那些不优先考虑人工智能就绪数据的组织,在扩展全人工智能和智能体解决方案时,预计将面临15%的生产力损失。这并非是对数据质量的警告,而是对基础架构错误造成的累积性损失的警告,尤其是在构建于其上的系统不断扩展的情况下。 那些最终脱颖而出的组织,是那些将自动化数据质量视为基础设施,与计算和存储归为同一类,而不是将其视为与实际工作并行开展的项目的组织。 这就是转变所在。数据质量不再是补救措施,而是决定人工智能能否可靠运行的关键因素。 来源(公众号):数据驱动智能
2026年全国两会期间,数据领域相关话题成为众多全国人大代表和全国政协委员关注的焦点。我们综合各类媒体和平台的公开报道,对2026年两会中有关数据工作的建议提案进行了梳理,倾听代表委员声音,不断提升数据工作质效。 周源 全国政协委员、社会和法制委员会委员、知乎创始人兼CEO 应促进互联网内容社区数据有序流通 全国政协委员、社会和法制委员会委员、知乎创始人兼CEO周源提出要构建促进数据有序流通机制。他建议,可支持互联网内容平台参与建设重点领域专业语料库开源开放平台。国际开源平台通过构建“模型—数据—评测”协同生态和成熟的开源许可体系,聚合全球开发者资源,已成为人工智能产业的重要数据基础设施。周源认为,可在行业主管部门指导下,支持互联网内容社区联合行业协会与科研机构,共建面向重点领域的专业语料开源开放平台,形成“社区生产—平台治理—模型反馈—持续优化”的良性循环,推动互联网内容社区沉淀的专业知识资源转化为合规、稳定、可持续的大模型训练数据来源,夯实我国人工智能产业发展的数据基础。 来源:央广网 徐冠巨 全国人大代表、传化集团董事长 筑牢智能产业生态新基建 全国人大代表、传化集团董事长徐冠巨建议,打造行业级“智能体大脑”,筑牢智能产业生态新基建。由政府牵头搭台,推动人工智能企业、产业龙头及研究机构联合攻关,围绕制造业数据平台、垂类模型和行业共享知识库,共同打造行业级“智能体大脑”;共建行业数据标准,鼓励龙头企业与人工智能企业联合制定行业数据采集、治理与共享标准,破解数据分散、标准各异的瓶颈;推动数据资源高质量供给,在工业制造、交通物流等高价值领域加快构建高质量数据集,鼓励龙头企业开放行业数据资产,探索跨行业、跨区域的数据共享机制。徐冠巨还建议,建设“人工智能+制造”复合型人才培养与认证体系,重点培育懂产业、懂AI的“产业AI架构师”。制定人工智能时代复合型人才能力认定标准,明确“产业AI架构师”的培养方向与评价依据;推动双向人才流动,既推动产业人才向人工智能方向转型升级,也推动人工智能科学家团队深入实体企业;构建产学研用一体化培养机制,鼓励科技企业与产业企业联动,开展全链条人才培养,加速复合型人才规模化供给。 来源:中国经济网 王小龙 全国政协委员、一工机器人银川有限公司董事长 化工数字化转型应聚焦四大方向 全国政协委员、一工机器人银川有限公司董事长王小龙建议实施“人工智能+石化化工”专项行动。他提出,要重点支持化工行业大模型研发,围绕分离、蒸馏、提纯等典型单元操作,部署场景化AI模型,推动行业生产从“经验驱动”向“数据驱动”转型。同时,需加快制定行业数字化转型成熟度评估标准、数据安全与产权规范,建设高质量行业数据集,为企业转型提供清晰指引。王小龙强调,要推动安全环保与数字化深度融合,强化转型底线支撑。他建议推行“智能巡检+风险预警+应急指挥”一体化系统,对工业机器人、无人机等高危场景巡检装备给予购置补贴,提升化工生产安全管控水平。同时,将碳足迹追溯、能碳管理纳入数字化改造要求,对建成智慧环保平台的企业,给予排污权抵押贷款利率优惠。 在产业协同层面,王小龙提出,要推进园区级数字化协同,打造产业集群效应。他建议以智慧化工园区建设为抓手,实现园区内企业数据联通、资源共享、应急联动;按照“六个一体化”理念,给予园区数字化基础设施专项财政补助。此外,建立园区数字化转型服务平台,提供“诊断—方案—实施—评估”全流程服务,降低企业转型试错成本。 来源:中国化工报
学校上线数据指标系统,希望完善学校的数据指标体系。然而,数据工程师与业务部门沟通数据指标时,常面临双方信息不对称的尴尬局面:业务部门不清楚数据部门需要哪些数据,数据部门也不清楚业务部门掌握哪些数据;此外,还存在“一把手”所需数据,业务部门与数据部门均未掌握,或双方数据始终不一致的情况。今天,我们就此探讨高校数据指标相关问题,供大家交流讨论。 一、何谓数据指标和指标体系 (1)指标定义:在业务发展进程中会生成数据,数据经过计算与分析后,形成统计结果,即被称为指标。指标是业务单元的度量值,可对业务进行描述、度量和拆解。常见指标示例:UV(活跃用户数)、PV(活跃次数)、注册用户数、人均使用时长等。 (2)指标维度及数值:指标定性部分通常指维度,描述指标的观察视角。指标定量部分描述指标的数值结果。举例:如果以日常监控或分析为目的,运营一般会选择按日进行监控,如每天注册用户数、日活等;如果是汇报或者宣发场景,可能会有按月、年、历史累计等维度做汇总,如某年度新增注册用户数等。 (3)指标体系:指标体系=指标+体系,简言之,就是一系列相互关联的用于衡量业务发展状况的指标的集合。围绕某一业务主题,基于一定的逻辑关系和层次结构,将相互独立又彼此关联的指标连接起来组成的有机整体。指标体系是对业务过程的全面完整的刻画,同时也涉及对指标的分类分级和标准化管理。 二、数据指标为何存在确定性与不确定性 高校数据指标具有复杂性。高校的业务活动丰富多样且动态变化,涵盖教学、科研、管理、社会服务等众多领域,不同领域的数据指标相互交织,导致其内涵与外延难以精准界定。同时,高校的数据来源广泛且分散,不同部门、不同系统产生的数据在格式、质量、统计口径等方面存在差异,数据在采集、传输、存储过程中也易受各类干扰,进一步加剧了数据指标的不确定性。 高校数据指标的不确定性主要源于以下三个方面,它们共同作用,使得任何试图用单一体系精确衡量高校“质量”的努力都变得异常复杂。 (1)测量干扰与指标间的内在矛盾 这类似于量子力学中的“测不准原理”。当你试图精确测量高校的某个方面(如科研论文数量)时,这个过程本身就会干扰或牺牲对其他方面(如本科教学质量)的准确衡量。指标之间往往存在天然的内在不兼容性。例如,过度强调科研经费和论文产出,可能导致资源向科研倾斜,从而削弱对教学的长远投入。大学的使命是多元的,试图用一套指标“通吃”,难免会顾此失彼。 (2)“指标固恋”引发的行为异化 著名的“古德哈特定律” 所揭示的现象:当一个指标本身成为目标时,它就不再是一个好的指标了。因为被测量者(高校)会为了提升排名而采取策略性行为,导致指标失真。 数据美化与造假:高校可能选择性报告数据,甚至直接造假。例如,哥伦比亚大学等名校曾因向排名机构提交不实数据而陷入丑闻。 追逐指标而非内涵:高校可能热衷于容易提升排名的短期行为,如大规模互引刷高论文引用率,或不顾质量地扩招国际学生以提升“国际化”指标。这使得指标越来越“好看”,却可能与真实的教育质量和学术水平脱节。 (3)价值负载与“一把尺子”的局限 大学是极其多样的,有综合性大学,也有特色鲜明的专业院校;有的侧重科研,有的专注教学。用同一套指标和权重去衡量所有学校,无异于用一把尺子去称体重。 学科差异:人文社科与理工科的成果形式、影响力周期完全不同,难以直接比较。以论文数量为核心的评价体系对人文社科就不尽公平。 价值判断:排名指标的选取和权重设置本身就是一种强烈的价值判断。例如,是更看重学术声誉还是毕业生就业率?这背后没有绝对客观的标准,但会直接导致排名结果的巨大差异。 三、为何要平衡静态数据与动态数据 在高校信息化建设中,有效梳理数据指标并构建一个能平衡动态与静态数据的指标体系,是推动数据驱动决策的关键。下面这个表格汇总了核心的构建维度与平衡要点,希望能帮你快速把握整体框架。 静态数据与动态数据在高校数据指标体系中各有其不可替代的作用,二者相辅相成,共同构成了对高校运行状态的全面描绘。静态数据如同高校发展的基石,它们相对稳定,不易受短期波动影响,为高校提供了长期、稳定的基础信息。这些数据有助于高校管理层了解自身的资源状况、结构特征以及历史积累,从而制定出符合自身实际的发展战略和规划。例如,通过分析师生人数、专业数量等静态指标,高校可以清晰地认识到自身的规模优势和潜在的发展空间。 动态数据则如同高校发展的脉搏,它们持续变化,实时反映着高校的运行状态和效能。这些数据对于高校管理层来说至关重要,因为它们能够及时揭示出高校在运营过程中存在的问题和风险,为管理层提供决策支持。例如,通过监测网络流量峰值、系统并发数等动态指标,高校可以及时发现系统瓶颈,优化资源配置,确保教学和科研活动的顺利进行。 平衡静态数据与动态数据,意味着高校在数据指标体系建设中既要注重基础信息的稳定性和可比性,又要关注运行效能的实时性和个性化。这要求高校在数据采集、处理和分析过程中,既要确保静态数据的准确性和完整性,又要提高动态数据的时效性和敏感性。避免陷入唯静态指标论的误区,不能认为基础数据一旦录入即可一劳永逸,而应重点关注其更新机制与生命周期管理。同时要防止动态指标脱离业务场景,若动态指标无法与学科评估、教学质量监测等具体业务场景紧密结合,很容易沦为为动态而动态的数字游戏。 四、如何理解数据指标与“双一流建设”指标 我们在工作中还经常要遇到“双一流”建设的数据指标,如何理解“双一流”建设的数据指标与高校数据治理的数据指标之间的关系,对于提升大学管理水平和建设成效至关重要。下面这个表格清晰地展示了两类指标的核心异同。 “双一流”建设数据指标如同灯塔,为高校指明前进方向,它聚焦于学科建设的关键成果,通过一系列具有战略性和结果性的指标,衡量高校在迈向世界一流过程中的成效,引导高校集中资源,在特定学科领域实现突破,提升国际竞争力。例如,在衡量学科科研成果时,会关注重大科研项目的数量、在国际顶尖学术期刊发表论文的数量等,这些指标直接反映了学科在世界范围内的学术影响力。 而高校数据治理数据指标则像是稳固的基石,为高校的整体运行和发展提供坚实支撑。它贯穿于高校数据产生、采集、整合的全过程,注重数据的规范与质量,确保数据的准确、一致与可用。从全校视野出发,覆盖教学、科研、人事、资产等所有校务环节,为高校的日常运营、管理决策和长期发展提供高质量的数据基础。比如,在人事数据方面,精确记录教职工的基本信息、教学科研成果、培训经历等,为合理配置人力资源提供依据;在资产数据方面,详细掌握学校各类资产的数量、位置、使用状况等,保障资产的有效管理和利用。 尽管两者存在明显差异,但它们并非孤立存在,而是相互依存、相互促进。高校数据治理数据指标为“双一流”建设数据指标提供了可靠的数据来源和坚实的基础。只有确保数据治理工作的高质量开展,保证数据的准确性和一致性,“双一流”建设数据指标才能真实反映高校的学科建设成效,为资源动态调整提供科学依据。反之,“双一流”建设数据指标所设定的目标和导向,也为高校数据治理工作指明了方向,促使数据治理工作更加聚焦于与学科建设相关的关键数据,提升数据治理的针对性和有效性。 五、如何建好高校数据指标体系 我们系统性地做好高校数据指标工作,关键在于建立一套从理念到实践、从战略到技术、从数据到决策的完整体系。 (1)树立正确的指标认知观。 高校数据指标工作首先需要在理念层面达成共识,这是所有实践的基础。必须认识到,任何测量体系都无法完全捕捉教育和学术活动的全部价值。指标选择本质上是价值判断,会天然地放大可量化部分,而相对忽视难以量化的教育内涵(如批判性思维、文化传承等)。这要求管理者对指标结果保持审慎,理解其局限性。数据指标是服务于办学治校的“导航仪”和“诊断书”,而非追求的终极目标。其根本价值在于支撑决策、发现问题、引导发展,应坚决避免陷入“为指标而指标”的怪圈。 (2)强化战略与治理的协同 理念共识需要坚实的组织和制度保障,确保数据工作与学校发展同频共振。建立强有力的数据治理体系是数据可信可用的基石。数据治理委员会要明确各部门的数据权责,制定统一的数据标准和管理办法,实现“一数一源”,从机制上保障数据的准确性和一致性。要进一步强化战略目标与数据指标的精准传导,将“双一流”建设等战略目标,逐层分解为可衡量、可追溯的关键绩效指标(KPIs),并确保每个战略指标都有清晰的数据来源和统计口径,形成“战略-指标-数据-责任”的闭环。 (3)构建灵活的技术支撑架构 先进的技术平台是处理海量、异构数据,并平衡其动态与静态特性的关键。建设一体化数据平台,兼顾静态数据(如师生基本信息、资产数据)的稳定性和动态数据(如实时网络流量、科研成果增量)的时效性。实现数据的分层分类管理,依据数据的不同特征和应用场景进行管理,对数据精细化管理。同时,平台需支持对数据的全生命周期质量管理。 (4)聚焦价值创造的应用导向 数据工作的最终价值体现在其对实际业务优化的推动上。以应用牵引治理,让数据“活”起来,从师生和管理的痛点需求(入手开展数据治理,能让治理成效迅速显现,获得广泛支持。通过构建“领导驾驶舱”、教师个人数据“一张表”等应用,将数据转化为直观的洞察,直接服务于管理决策和学术活动。同时,建立常态化监测与评估机制,将数据分析与战略复盘、同行比较相结合,实现周期性的自我诊断与持续改进。 (5)培育共享共治的数据文化 技术和制度的有效运行离不开人的支持和文化的滋养。加强对管理者和教师的数据素养培训,培养“用数据说话、用数据决策、用数据管理、用数据创新”的文化氛围,使数据思维成为校内共识。需要建立有效的激励与反馈机制,让数据提供者和使用者都能从数据应用中获益。例如,通过数据服务简化业务流程,让师生感受到便捷;将数据分析结果反馈给业务部门,帮助其优化工作,形成“数据应用-价值创造-主动参与”的良性循环。 总之,数据指标在数据治理过程中需要统筹兼顾数据指标的确定性和不确定性,需要处理静态数据与动态数据的精准识别,需要将学校高质量发展的数据指标与数据业务的具体指标进行比对,实现二者数据指标一致性与质量提升,从而系统性的做好高校数据指标工作。 来源(公众号):数智转型洞察
摘要:AI圈发展太快了,看来程序员要失业了。前面是MCP(模型上下文协议),接着是Skill(技能),“小龙虾”(OpenClaw)还没玩明白,现在又来了一个Harness Agent。如果你最近关注AI圈的技术动态,一定发现了这个正在刷屏的新词。前脚Token刚被官方认证为“词元”,后脚就冒出了一个同样难以翻译的Harness。有人调侃说在淘宝搜“Harness”会出现“战术胸带”,也有人戏称这是给AI这头“牛马”套上的“马具”。那么,这个让技术圈热议的Harness Agent到底是什么?它主要解决什么问题?包含哪些功能模块?怎么使用?给谁用的?这篇文章就来为你详细拆解。 一、Harness Agent的定义 一、Harness Agent是什么? Harness,直译过来是“马具”、“挽具”或“安全带”。在AI领域,它指的是一套为AI智能体设计的“工作环境”或“控制系统”。用更技术化的语言说,Harness是一种包含环境配置、多智能体协作机制、严格架构约束和上下文管理的系统工程。它的核心目标是弥补当前AI大模型的“上下文焦虑”和易错性,让AI能够稳定、可靠地完成长期、复杂的任务。 这个概念最早被引入AI智能体领域,是在Anthropic(Claude的开发商)2025年11月的一篇技术博客中。随后,OpenAI在2026年2月也发表了一系列关于“Harness Engineering”(Harness工程)的文章,将这个概念推向主流。 在OpenAI的视角里,未来工程师的工作将不再是写代码,而是设计智能体的“工作环境”——也就是Harness。这个理念的转变,意味着AI开发正在从“让模型更聪明”转向“如何让模型稳定地发挥聪明才智”。 二、它主要解决什么问题? 要理解Harness的价值,首先得知道当前AI大模型存在哪些“毛病”。 1. “上下文焦虑”——AI的心理问题 Anthropic的研究员在内部实验中发现了一个有趣的现象:当Claude执行长周期的代码任务时,一旦它感觉到自己的上下文窗口(可以理解为AI的“短期记忆”)快要填满了,它就会产生焦虑,开始敷衍了事,就像快要下班的打工人。 更要命的是,当研究员要求AI自我评估这些“赶工”产出的代码质量时,它完全发现不了问题。它不觉得自己在敷衍,反而认为交付的成果很完美。 这种“上下文焦虑”不是通过优化提示词就能解决的,它需要一套系统工程——也就是Harness。 2. “自我评价偏差”——AI对自身要求太宽松 AI在评价自己产出的时候,天然倾向于给自己打高分。这不是态度问题,而是模型训练方式带来的副作用。让一个AI同时担任“执行者”和“评估者”的角色,就像让学生自己批改自己的考卷,结果可想而知。 3. 复杂任务容易“偏航” 当AI需要完成一个包含几十个步骤、上百个文件的复杂任务时,它很容易在中途忘记最初的目标,或者在某个细节上钻牛角尖,导致整个项目偏离轨道。 4. 缺乏“代码审美” AI生成的代码往往能用,但缺乏架构品味。它能写出能跑起来的代码,但写不出优雅的、可维护的、符合团队规范的高质量代码。这就像有人能盖出一间能住的房子,但盖不出有设计感的建筑。 5. 长期记忆不足 大模型的上下文窗口虽然有100万甚至200万token,但面对一个持续数周、涉及数千个文件的大型项目,这个“记忆”仍然捉襟见肘。AI会“忘记”两周前做的架构决策,导致代码前后不一致。 Harness的本质,就是一套用来补偿当前AI这些不擅长之处的系统: 1、AI不擅长长期记忆 → Harness用进度文件、git历史、结构化文档来补 2、AI评价自己太宽松 → Harness用独立的评估Agent,带着具体标准和真实环境测试 3、AI在复杂任务里容易偏航 → Harness用任务分解、结构化、契约约定来约束范围 4、AI不具备代码架构审美 → Harness用文档和自动化规范检查,将人类判断转化为系统规则 三、它主要包含哪些功能模块? 根据Anthropic和OpenAI的实践,一个完整的Harness通常包含以下几个核心模块: 1. 多角色Agent协作机制(最核心) Anthropic的设计中,一个Harness包含三个角色: (注入prompt) 角色 职责 比喻 规划师(Planner) 把一句话需求扩写成详细的产品文档、技术方案 产品经理 生成器(Generator) 严格按照文档写代码,不越界、不发挥 码农 评估器(Evaluator) 手握自动化测试工具,冷酷地检验产出,不合格就打回重做 QA + 测试工程师 这三个角色形成一个闭环:规划师出方案 → 生成器写代码 → 评估器测试 → 不通过则打回给生成器修改 → 通过后交付。 实际效果对比: Anthropic做了一组对比实验,要求AI开发一个游戏制作器: 1、没有Harness的那组:跑了20分钟,花了9美元。结果是界面能看,但核心功能是坏的——游戏角色出现在屏幕上,但对任何键盘操作都没有反应,游戏没法玩。 2、有Harness的那组:跑了6小时,花了200美元。结果令人惊艳——游戏不只是能玩,还有动画系统、音效、AI辅助的关卡设计。 2. 上下文与知识管理系统 OpenAI的Codex团队最初用一个超长的AGENTS.md文件告诉AI所有的规则。但很快就遇到了问题: 1、上下文窗口被撑爆,AI只能进行“模式匹配”,没有真正理解 2、文件很快过时,没人维护 3、AI被一堆可能不再成立的规则误导 改进后的方案: 1)AGENTS.md精简到只有100行,只充当一个“目录” 2)把详细内容放到结构化的docs/文件夹:架构文档、产品规格、设计决策、 技术债务追踪 3)每个文档由AI写、由AI维护 4)安排一个“文档园丁”Agent定期扫描过时文档并自动更新 3. 架构约束与边界控制 OpenAI的Harness中设置了极其严格的规则: 1)代码检查工具(Linter):自动检查代码是否符合规范 2)物理依赖边界:业务代码只能单向调用,越界就会被系统无情切断,根本合并不进项目主分支 3)核心约束:没有人工手写的代码。所有代码——业务逻辑、测试、CI配置、文档、内部工具——都由AI写 在这个Harness中,规则变成了AI不可违背的意志。AI就像生活在“楚门的世界”里,它拥有写代码的绝对自由,但这种自由永远在人类设定的结界之内。 4. 进度追踪与任务管理 对于长期运行的项目,Harness需要一个“进度文件”来记录: 1)已经完成了哪些任务 2)当前进行到哪一步 3)遇到了什么问题 4)下一步要做什么 这样即使AI的上下文被重置,它也能通过读取进度文件快速恢复工作状态。 5. 工具集成环境 AI需要能够调用外部工具来完成工作: 1)浏览器自动化(测试UI交互) 2)数据库查询 3)代码执行沙箱 4)Git操作 5)CI/CD流水线 Harness需要提供这些工具的接口,让AI能够“动手”而不是“动口”。 Harness如何来使用的?给谁用? Harness需要提供这些工具的接口,让AI能够“动手”而不是“动口”。 一、Harness是给谁用的? 1. AI应用开发者 正在用AI构建复杂应用的人。如果你的项目超过1000行代码、需要多个文件协作、或者需要持续迭代数周,Harness对你来说就很有价值。 2. 技术负责人/架构师 需要思考“团队如何用AI提效”的管理者。在Harness的视角下,你的工作不再是写代码,而是为AI设计工作环境——这是一种全新的技术管理能力。 3. DevOps工程师 负责CI/CD流水线和自动化运维的人。Harness的理念天然适合DevOps场景——自动化测试、自动修复、自动部署,这些都是Harness的典型应用。 4. 想转型“AI工程化”的程序员 如果你担心AI会取代程序员,Harness给了你一个转型方向:从“写代码的人”变成“给AI设计工作环境的人”。OpenAI明确表示,未来工程师的核心竞争力是设计Harness的能力,而不是写提示词或配置Skill。 二、它如何来使用的? 使用层级一:作为AI开发者的“工程方法论” 这是目前最主流的用法——不是安装某个软件,而是学习一套设计Harness的方法论。 步骤1:识别AI的痛点 观察你的AI在执行任务时经常在哪些环节出错:是记不住上下文?是自我评价太宽松?还是容易偏航? 步骤2:设计Harness架构 根据痛点设计对应的机制: 1、如果是“上下文焦虑”→ 设计上下文重置机制 + 进度文件 2、如果是“自我评价太宽松”→ 引入独立的评估Agent + 自动化测试 3、如果是“容易偏航”→ 强化任务分解和契约约定 步骤3:实施与迭代 让Harness跑起来,观察效果,持续优化。Anthropic在升级到Opus 4.6之后,发现之前为了对抗“上下文焦虑”设计的“上下文重置”机制可以直接去掉了,因为新模型已经能自己处理了。但同时,他们发现了新的方向——用Harness来让AI自动集成AI功能。 使用层级二:作为现成产品/功能 如果你不想从零搭建,也可以使用一些已经内置了Harness理念的产品: 产品/平台 Harness相关功能 Harness公司(DevOps平台) 提供AI代码助手、AutoFix Agent、Code Coverage Agent等现成智能体 TRAE(字节跳动AI IDE) 内置Builder、SOLO Coder等智能体,支持多Agent协作, Cursor 支持Plan模式(先规划后执行),可配置规则文件 Claude Code Anthropic官方代码助手,内置Harness设计理念 因为我通常会使用trea和cursor,它们执行的时候会自己创建沙箱,校验代码的正确与否。 使用层级三:自己动手搭建(进阶) 对于有技术能力的团队,可以自己搭建一个Harness系统: 1、选择基础模型(Claude、GPT、DeepSeek等) 2、设计多Agent协作框架(可用LangGraph、AutoGen等) 3、配置工具环境(MCP Server、浏览器自动化、代码执行沙箱) 4、建立知识管理系统(docs文件夹 + 文档园丁Agent) 5、设置自动化质检(Linter、单元测试、端到端测试) 三、主要的作用是什么? 1. 让AI能完成长期、复杂的任务 没有Harness,AI只能完成单次、短平快的任务(写一个函数、翻译一段文字)。有了Harness,AI可以完成持续数周、涉及数百个文件的大型项目(开发一个完整应用、重构整个代码库)。 2. 提升AI产出的质量 通过评估Agent的冷酷质检,AI产出的质量得到显著提升。不再是“能用但充满了AI塑料味”的代码,而是符合规范、可维护、有架构品位的高质量产出。 3. 降低人工介入成本 在没有Harness的情况下,人类需要频繁检查AI的工作、纠正错误、补充遗漏。有了Harness,大部分问题被自动化机制拦截和处理,人类只需要在关键决策点介入。 4. 让AI的行为可预测、可追溯 Harness中的进度文件、文档、测试报告让AI的工作过程变得透明。你可以随时查看AI做了什么、为什么这么做、结果如何。 5. 形成“飞轮效应” 随着模型能力增强,Harness的某些部分会变得不再必要,但新的、更难的任务又会出现。Anthropic观察到:模型越强,Harness不是变得更简单,而是要去解决更难的问题。这形成了一个正向循环——更强的模型 + 更好的Harness = 能完成更复杂任务的AI。 四、Harness与MCP、Skill、Agent的区别 为了帮助你更好地理解Harness在整个AI技术栈中的位置,这里做一个对比: 概念 本质 作用层级 类比 MCP(模型上下文协议) 协议标准 工具连接层 USB接口 Skill 能力封装 功能实现层 一个App Agent 自主执行单元 任务执行层 一个员工 Harness 工作环境/控制系统 系统管理层 整个公司的管理制度 简单来说: 1)MCP让AI能“插上”各种工具 2)Skill让AI拥有某项专门能力 3)Agent是执行任务的AI个体 4)Harness是让这些Agent稳定、高效工作的整个系统环境 一个形象的比喻:如果Agent是汽车,MCP是加油站和修理厂,Skill是导航和音乐系统,那么Harness就是整个交通管理系统——红绿灯、车道线、限速标志、交通法规。 写在最后,从MCP到Skill,从Agent到Harness,AI圈的概念层出不穷。但透过这些新词,我们可以看到一条清晰的脉络:AI正在从“玩具”变成“工具”,从“能回答问题”进化到“能完成工作”。 Harness就是这个进化过程中必不可少的一环。它或许不是最性感的概念,也不是最容易理解的概念,但它可能是决定AI能否真正“干活”的关键。 下次在聊AI的饭局上,如果有人问起Harness,你可以自信地说:“哦,那个啊,就是给AI设计的‘工作环境’——未来程序员的真正工作,就是设计这个东西。” 在模型能力飞速发展的今天,各家大模型之间的性能差距在缩小。未来决定AI应用上限的,可能不再是模型本身,而是围绕模型构建的Harness系统或者能够让AI稳定产出的人。 对于开发者来说,这是一个重要的信号:会写提示词和配置Skill不再是核心竞争力,真正的顶级人才,是那些懂得如何设计Harness的人或者是让AI稳定产出的人。 好消息是,Harness目前还处于早期阶段,没有形成标准,也没有被大厂垄断。这意味着现在入场的开发者,有机会参与定义这个领域的实践和标准。 对于担心“AI让程序员失业”的朋友,Harness或许给出了一个答案:程序员不会失业,但程序员的角色会发生变化——从“写代码的人”变成“给AI设计工作环境的人”。
文 | 国家数据发展研究院副院长、研究员姜江 数据作为新型生产要素,具有规模倍增性、高流动性、非消耗性、可融合性、价值异质性和高敏感性等特征。过去一段时间以来,伴随数字技术创新,人工智能浪潮兴起,数字化、网络化、智能化进程加快,大量“沉睡”数据被激活,高质量数据供给量增大,数据要素融入经济社会发展带来了巨大的经济和社会效益,越来越多的经营主体愿意为数据投入、为数据产品服务“买单”,数据要素成为新质生产力培育壮大的重要驱动力。数据要素潜力持续释放,既顺应了数据要素的基本特征和发展规律,也有利于发挥我国海量数据资源的独特优势,更是数据基础制度持续完善、数据产业不断壮大、数据流通交易生态日趋优化的必然结果,将成为新形势下经济潜能挖掘、创新驱动发展、现代化产业体系建设、高质量发展的重要支撑。 一、场景牵引,以制度护航高质量数据供给 数据“供得出”是数据要素价值实现的第一步,确保数据高效、公平、安全供给的制度环境是前提条件。自2022年12月中共中央 国务院发布《关于构建数据基础制度更好发挥数据要素作用的意见》以来,我国数据基础制度“四梁八柱”体系形成,配合后期陆续出台的公共数据开发利用等系列专项文件、政策,基本解决了当前及未来一段时间数据要素市场化价值化进程中亟需破解的制度保障和政策支撑难题。同期,国家数据局会同相关部门深入推进“数据要素×”行动,连续两年举办“数据要素×”大赛,带动全国32个地方超20万人参与,遴选发布130余个“数据要素×”典型案例,编制发布超700个数据开发利用典型场景建设指引,以场景建设持续挖掘公共数据、企业数据“供出来、用起来”的优秀实践,为各地相关部门“吃定心丸”、形成行业共识、提供行动指南,在全社会范围内逐步形成数源部门积极供数、全社会踊跃用数并为优质数据买单的氛围,成为“以新需求引领新供给,以新供给创造新需求”的生动实践。 二、企业主导,以数据产业提升数据要素竞争力 企业是创新主体,是发挥市场配置资源决定性作用的中坚力量,是推动数据要素潜力从释放到爆发的关键要素。从实践看,从事数据采集汇聚、计算存储、流通交易、开发利用等活动的数据企业仍处于孕育生长、蓄势待发的发展初期,表现出高成长、高投入、强场景牵引、数据和知识密集等特征,是数智化浪潮中代表新质生产力的重要经营主体。越来越多的企业家、具有前瞻性战略思维的投资机构看到了数据产业孕育的巨大发展潜力,预判到数据要素价值释放将带来的颠覆性变革和难以估量的经济社会价值,率先投资于“数”、投资于承载数据要素专业知识的人,数据产业呈现快速增长态势。据国家数据发展研究院2025年对重点样本企业最新跟踪和测算结果显示,全国数据企业数量已超过40万家,较上一年增长16%,覆盖数据采汇算存流以及开发利用、安全治理、基础设施建设等各环节,一批具有一定技术优势和专业场景特色、蕴含巨大发展潜力的创新型数据企业快速崛起,具身智能机器人领域短期内就迅速涌现8家估值超过百亿元级的数据企业,生动践行了数据要素潜力转化为数据要素生产力、数据产业竞争力乃至国家竞争新优势的发展理念。 三、各展所长,创新发展数据流通服务机构 顺应数据要素高流动性等基本特征,培育壮大数据流通交易机构能够在当前以“四两拨千斤”的效果撬动数据要素潜力加快释放。2026年初,国家数据局等部门发布《关于培育数据流通服务机构 加快推进数据要素市场化价值化的意见》,直面当前全国一体化数据市场培育发展中的难题和“卡点”,明确了数据交易所(中心)、数据流通服务平台企业、数据商等主要流通服务机构的边界,提出支持其以更创新的方式、更广阔的范围、更多元的角度推动数据流通交易,既为各类机构创新发展指明方向,也为全面释放数据要素价值进一步畅通通道。下一步,相关政策将精准瞄向不同类型的数据流通服务平台企业,提出差异化发展目标,支持探索多样化的数据流通交易模式和产品服务形态,特别是以人工智能为导向的高质量数据集产品;并“硬”“软”结合,既有谋划实施数据流通服务机构能力提升工程以及支持建设运营数据基础设施等“硬”政策,也有尽职免责、创新试错容错等软机制,鼓励平台企业创新发展、大胆探索。 四、供需联动,繁荣数据要素市场生态 培育开放共享安全的全国一体化数据市场,通过打破区域分割和部门壁垒,构建丰富多元的数据资源供给,打造畅通的供需对接渠道,推动提升数据资源配置效率,是顺应数据要素市场化价值化发展规律、激活数据要素潜在价值的必然要求。当前,我国数据市场整体呈现出资源多、速度快、势头好和场景广的良好态势,初步形成了多元主体参与、协同推进的发展格局。据国家数据局2025年5月发布的《全国数据资源调查报告》显示,全国2024年度数据生产总量超过40泽字节(ZB),同比增长25%,预计2025年有望突破50ZB。数据产品类型和供给能力持续提升,数据产业细分领域快速发展,数据标注、数据治理等行业爆发出巨大增长潜力,在推动国民经济向优向新,稳增长、促就业等方面发挥突出作用。从需求侧看,伴随数据开发利用场景不断拓展,各领域特色化应用持续涌现。特别是,在供需联动作用下,产学研、各行业领域数据投入意愿持续提升、数据付费意识逐步加强、数据“买卖”日趋常态,全社会供数买数形态蔚然成风。下一步,要以保障数据市场治理安全为底线,以加大数据供需衔接力度为近期攻坚目标,以持续建立健全数据市场制度规则、强化数据基础设施支撑为近中期目标,以完善全国一体化数据市场规则为中长期目标,坚持不懈繁荣数据要素市场生态。 来源(公众号):国家数据局
文 | 中国政法大学法学院教授 李爱君 促进数据融合不仅是数字技术发展的内在要求,也是政策制度引导数据资源优化配置、激励创新与实现社会整体利益最大化的重要体现。政策制定和学术研究需要深刻洞察数据的内在规律和发展趋势,并为解决数据融合中的产权配置和保护、责任承担和利益分配等核心难题提供系统性的制度设计和解决方案。 数据融合是指多个数据持有主体,为提供数据、数据产品与服务,开展联合经营管理等业务合作活动,通过技术手段将不同来源、不同格式或不同结构的数据进行汇集与整合,从而对特定对象形成更全面、更细致的综合性认知的一系列行为与过程的总称。数据融合并非从无到有产生新的原始数据,其核心在于提取并合成蕴含于原始数据中的信息,生成更高层级知识、洞察或决策支持的结果数据,从而实现数据价值的乘数效应。数据融合的典型实践有合作建立人工智能训练数据专区、高质量数据集、可信数据空间和联盟制数据资源池共建等。融合数据因其数量庞大、维度多元,能够形成高价值的数据资源集合,有利于生成高价值的数据。促进数据融合契合国家关于数据要素市场化配置的顶层设计,服务于高质量经济发展与数字中国建设的战略目标。 数据融合有以下几方面价值。一是促进人工智能的发展。数据融合可以产生大规模、高质量的训练数据集,这正是发展人工智能所必需的。二是实现数据资源配置效率的提升。数据融合有助于发挥数据的乘数效应,参与数据融合的多方可以同时使用数据,互不影响,实现数据资源的优化配置与高效复用。但目前,在我国数据融合的实践中,多主体参与的数据融合面临数据产权不明的制约。导致这些问题的原因是,数据具有不同于传统财产的特征,现有的物权制度不适于保护数据产权。数据融合是具有很大潜力的数据提供和流通方式,但数据融合开发利用过程中的各方权利、义务、责任边界不清,导致数据融合不能发挥其应有价值,不能充分实现创造价值增量的目标。 《中共中央 国务院关于构建数据基础制度更好发挥数据要素作用的意见》提出“数据产权结构性分置”,尊重数据多方共生、非消耗性、非竞争性等客观特征,在此基础上进一步建立健全数据产权制度,回应了数据融合实践的需要,为数据融合提供清晰、稳定、可预期的法治环境,促进数据价值的释放。具体到数据融合场景,需要确立数据持有权、数据使用权和数据经营权相互独立,数据产权人可享有三权中的一项或多项权利,同一数据的同一权利可由多人享有的规则。这样的产权配置方案能够为复杂的、多主体参与的数据融合活动提供公平的秩序。 数据产权结构性分置方案,不仅能够促进数据融合复用,而且能够促进数据流通和价值释放,与建立健全数据产权制度、鼓励多源数据融合开发、促进数据高效复用的政策导向和发展战略高度契合。通过明晰数据融合利用过程的产权配置,合理保护各方劳动和其他要素贡献,不仅能够充分调动数据市场中各方主体的积极性、主动性和创造性,最大化释放数据资源的内在价值,而且有助于推动数据由静态资源向可以依法有序流动的资产转化。下一步,要通过用好数据流通交易合同示范文本等,结合实践经验不断迭代完善细化条款,引导参与数据融合的各方提前明确数据使用范围、责任边界、利益分配等,实现权利义务的清晰化与规范化。 来源:国家数据局