大数据时代数据治理至关重要。本文探讨了数据治理的必要性，分析了大数据平台面临的数据不可知、不可控、不可取、不可联等问题，并强调数据治理需面向全企业用户，提升自助大数据能力。通过国家电网等实践案例，展示了大数据治理的有效性和成果，助力企业数字化转型。

当大模型热潮退去，数据中台的“真金白银”才浮出水面 2025年，企业追逐大模型的浪潮已从“技术尝鲜”转向“价值落地”。然而，许多企业发现，大模型的表现并不如预期：回答不专业、业务场景难适配、数据隐私隐患频发……问题的核心，往往不是模型本身，而是背后的数据质量与治理能力。正如复旦大学肖仰华教授所言：“大部分数据仍沉睡在服务器，尚未转化为真正的资产”。 数据中台——这个曾被贴上“过气”标签的概念，却在大模型落地困境中重新成为焦点。它不是简单的数据仓库，而是通过标准化、智能化、场景化的数据治理体系，让数据真正流动、融合、增值的“隐形引擎”。本文将结合行业实践，揭秘数据中台如何成为大模型时代的胜负手。 一、数据中台：从“沉睡数据”到“黄金燃料”的炼金术 大模型的训练如同火箭发射，燃料的质量直接决定升空高度。但现实中，企业数据往往像未经提炼的原油——分散、混杂、价值密度低。以下是数据中台如何通过“三步炼金术”，将原始数据转化为驱动大模型的黄金燃料： 1. 破除数据孤岛：从“碎片化”到“全域贯通” 行业痛点：某头部家电企业曾面临典型困境——线下门店POS系统、电商平台订单数据、售后客服工单分散在12个独立系统中。市场部需要分析“促销活动对复购率的影响”时，需协调3个部门导出数据，耗时两周，最终因数据口径不一致导致结论失真。 数据中台解法: • 统一数据资产目录：建立“数据超市”，将分散数据按业务主题（客户、商品、渠道）分类，形成标准化的数据标签体系。例如，将“客户”主题统一为“基础信息（姓名、联系方式）、消费行为（客单价、复购周期）、服务反馈（投诉记录、满意度）”三层结构。 • 动态血缘图谱：某物流企业通过数据中台构建“字段级血缘关系”，可追溯“物流时效”指标从原始运单数据到聚合计算的完整链路，确保指标一致性。当某区域配送异常时，系统自动定位问题源（如分拣中心设备故障导致数据断点）。 技术细节： • 采用Flink实时计算引擎，实现跨系统数据秒级同步； • 知识图谱技术自动识别数据关联（如发现“客户手机号”与“售后工单联系人”字段实际指向同一实体）。 2. 数据清洗：从“脏乱差”到“高纯度” 典型案例：某银行信用卡中心发现，客户填写的“年收入”字段中，存在“30万”、“30万元”、“30W”等12种表述，甚至有用户误填为手机号。传统规则引擎仅能覆盖60%异常数据，剩余需人工处理，成本高昂。 数据中台的智能化升级： • 大模型驱动的语义清洗： • 使用LLM理解非结构化数据：将客服通话录音转为文本后，通过Prompt工程提取关键信息（如投诉原因分类）； • 自动纠错：识别“年收入：150万（实际应为15万）”类错误，准确率达92%（某金融科技公司实测数据）。 • 多模态数据治理： • 某零售企业用CV模型解析门店监控视频，自动生成“客流量高峰时段”数据，与POS系统销售数据关联，优化排班策略。 落地工具： • 开源框架：Apache Griffin（数据质量监测）、Great Expectations（自动化校验规则生成）； • 商业化方案：阿里DataWorks智能数据建模、Databricks的Delta Live Tables。 3. 场景化重构：从“静态存储”到“动态燃料” 行业教训：某新能源汽车厂商曾投入千万构建数据湖，但业务部门反馈“数据很多却用不起来”——市场团队需要“不同温度区间下电池续航衰减率”分析时，发现所需传感器数据未被纳入采集范围。 数据中台的场景化能力： • 需求驱动的数据编织（Data Fabric）： • 某医疗集团通过数据中台，将HIS系统、电子病历、检验设备数据按“患者诊疗全路径”动态关联。当研究“糖尿病患者术后感染率”时，自动关联血糖监测数据、用药记录、护理操作日志，将分析准备时间从3周缩短至2小时。 • 智能指标平台： • 某快消品牌定义“新品渗透率=购买新品客户数/活跃客户数”，数据中台自动解析指标逻辑，动态关联商城订单、会员数据，实时生成可视化看板。 数据中台的终极目标不是建“图书馆”，而是打造“变形金刚”——能根据业务需求，随时组装出所需的数据武器。 二、大模型×数据中台：1+1>2的协同效应 大模型与数据中台的关系，犹如大脑与神经系统的配合：数据中台负责感知和传递信息，大模型负责决策与创造。两者的深度协同，正在重塑企业智能化范式： 1. 正向循环：数据治理与模型进化的“飞轮效应” 飞轮第一环：高质量数据喂养大模型 • 某国有银行信用卡风控案例： • 原始数据：2.3亿条交易记录中，27%存在商户名称歧义（如“XX科技公司”实际为赌博网站）； • 数据中台治理：通过NLP模型清洗商户名称，关联工商信息库，打标高风险商户； • 模型效果：基于清洗后数据训练的反欺诈模型，误报率下降44%，每年减少损失超6亿元。 飞轮第二环：大模型反哺数据治理 • 智能数据标注： • 某自动驾驶公司用大模型预标注道路图像，人工仅需修正5%的异常帧，标注效率提升18倍； • 主动学习（Active Learning）：模型自动识别“遮挡严重”的困难样本，优先推送人工标注。 • 元数据自动化管理： • 某电商平台用LLM解析数据表注释，自动生成字段含义、取值范围等元数据，填补85%的元数据空白。 2. 场景革命：从“通用能力”到“业务智能体”案例深度剖析：大地保险“智能理赔顾问” • 业务挑战：车险理赔涉及定损员、修理厂、第三方鉴定等多方数据，传统流程平均耗时5.8天，客户投诉率高达23%。 • 解决方案： 1. 数据中台筑基： • 整合保单数据（车型、保额）、历史理赔记录（欺诈案例库）、修理厂资质数据； • 通过图数据库构建“人-车-修理厂”关联网络，识别高风险关联（如某修理厂频繁关联虚假事故）。 2. 大模型能力注入： • 训练行业专属模型“灵枢”，理解保险条款、维修工单、定损报告等专业文档； • 构建多智能体（Multi-Agent）系统： • 定损Agent：通过图片识别损伤部位，关联维修价格库，10秒生成初步报告； • 反欺诈Agent：比对历史案件模式，标记可疑案件（如相同车辆短期内多次出险）。 • 成效：理赔时效缩短至8小时，欺诈案件识别率提升37%，每年节省成本超4000万元。 3. 组织变革：从“技术黑箱”到“业务共舞” 某零售巨头的范式转型： • 旧模式：数据团队被动响应业务需求，开发一个“门店选址模型”需3个月，且业务方难以理解模型逻辑。 • 新范式： • 自然语言交互：区域经理用语音输入“帮我找未来半年华东区最适合开旗舰店的城市”，数据中台自动关联人口数据、竞品分布、交通规划等300+指标，大模型生成分析报告并推荐选址； • 可解释性增强：模型输出“建议杭州而非上海”时，同步展示关键依据（如上海核心商圈租金涨幅超30%，杭州亚运会带来流量红利）； • 业务闭环：选址结果反馈至数据中台，持续优化模型预测准确率。 技术架构： • 三层架构： 1. 底层：数据中台提供清洗后的标准化数据； 2. 中间层：MoE架构大模型（如DeepSeek-R1）按场景调用专家模型； 3. 应用层：低代码平台供业务人员配置智能体工作流。当一线业务员能用自然语言指挥数据中台时，企业才真正完成了AI革命。 4. 行业级突破：从“单点应用”到“生态重塑” 医疗健康领域案例： • 数据挑战：某三甲医院积累的300TB医疗数据中，包含结构化电子病历、非结构化影像数据、时序性生命体征监测数据，难以统一利用。 • 协同解决方案： • 数据中台：构建“患者全息视图”，整合门诊记录、CT影像、基因组数据； • 大模型应用： • 辅助诊断：识别CT图像中的早期肺癌征象，提示医生关注微小结节； • 科研加速：自动解析海量文献，匹配临床试验方案与患者特征。 • 生态价值：医院联合药企、保险机构，在隐私计算框架下，实现“诊疗-研发-保险”数据闭环，将新药研发周期平均缩短15%。 数据中台与大模型的协同，本质是一场“数据文明”的进化： • 野蛮生长时代：数据是散落的矿石，模型是手工作坊； • 工业文明时代：数据中台如同炼钢厂，产出标准化“钢坯”； • 智能时代：大模型成为精密车床，将数据钢材加工为航天器件。 企业若想抵达AI赋能的彼岸，数据中台是必经的“钢铁丛林”——穿越它，才能让大模型的火箭真正升空。 没有数据中台的“底座”，大模型不过是空中楼阁；没有大模型的“大脑”，数据中台仅是沉默的矿藏。 三、未来已来：数据中台的三大进化方向 1. 轻量化与行业定制： • 如零一万物推出MoE架构模型Yi-Lightning，降低推理成本，适配制造业、金融等垂直场景； • 企业可通过微调（如DeepSeek-R1的SFT方案），让模型“更懂行”。 2. 自动化与低代码： • 数据清洗、标注、建模全流程AI化（如网页3中LLM自动修正日期格式）； • 业务人员通过拖拽生成Agent，穿透核心业务流程。 3. 安全与合规增强： • 隐私计算、联邦学习保障数据安全（如大地保险的本地化推理方案）； • 数据血缘追踪，满足金融、政务等领域强监管需求。 数据中台的“长期主义”大模型的热潮终会褪去，但数据价值的挖掘永无止境。正如肖仰华教授所言：“在大模型助力下，沉睡的数据资产将彻底激活”。企业若想在这场AI革命中胜出，需以数据中台为锚点，构建“数据-模型-场景”的飞轮：高质量数据滋养模型，精准模型反哺业务，业务反馈优化数据。 未来，没有“数据中台+大模型”双引擎的企业，或将如同燃油车面对特斯拉——即便引擎轰鸣，也难逃掉队的命运。 来源（公众号）：AI数据推进器

本文是中国科学院大学数字经济学课程数据治理部分课件，深入探讨了数据治理的内涵、数据开放共享与产权、跨境流动等热点，并分析了数据治理的立法实践与监管措施，为数据治理领域提供了全面而深入的见解。

——当智能体与流程融合，效率革命正在重塑商业规则 在数字化浪潮席卷全球的今天，人工智能（AI）已从实验室走向生产线，从单点工具进化为重塑商业逻辑的“认知中枢”。其中，AI工作流正以“化繁为简”的革命性力量，成为企业降本增效、创新突围的核心引擎。它不仅是技术的迭代，更是组织形态的进化——通过将复杂任务拆解为可迭代、可优化的智能流程，让企业从“经验驱动”迈向“数据驱动”，从“人力密集”转向“智能密集”。 一、为什么AI工作流如此重要？ 1. 破解效率黑洞 传统企业常陷入“流程繁琐、响应滞后”的泥潭。以制造业为例，一份采购订单处理需人工录入数据、比对价格、逐级审批，单张成本高达38元、耗时4小时。而AI工作流通过自动化抓取、智能比价、动态审批，将成本降至6元/单，效率提升9倍。这种“感知-决策-执行”的闭环系统，让企业像精密仪器般高效运转。 2. 应对复杂挑战 在医疗、金融等高风险领域，AI工作流展现出不可替代的价值。某保险公司利用AI工作流实时分析交易数据，欺诈识别准确率达98%，坏账率却从2.3%降至1.7%。其核心在于多智能体协作：风险评估模型、规则引擎、实时监控系统协同作战，将复杂决策分解为可验证的模块化任务。 3. 释放人力潜能 某服装品牌通过AI工作流将设计打样周期从45天压缩至7天，某保险公司理赔审核人员从200人减至30人却处理量翻倍。这不是简单的裁员，而是将员工从重复性劳动中解放，转向更具创造性的战略决策与客户互动。 二、AI工作流如何解决业务痛点？ 1. 标准化与灵活性并存 传统工作流依赖静态规则，难以适应动态市场。AI工作流通过动态调整机制，如电商企业实时分析销售与库存数据，自动优化补货路径；制造业根据设备传感器预测故障，提前7天安排检修。这种“边运行边优化”的特性，让流程始终贴近业务需求。 2. 多维度降本增效 • 显性成本：某连锁酒店改造发票开具流程后，日均处理量800次，节省6个全职岗位。 • 隐性成本：某政府单位政务热线工单分类准确率从68%提升至94%，派单时间从15分钟缩短至实时完成。 • 质量提升：AI质检流水线使汽车零部件工厂问题发现速度提升6倍，客户投诉率下降43%。 3. 构建竞争壁垒 字节跳动、腾讯等巨头押注AI工作流平台，教育企业通过“虚拟班主任”实时跟踪学习进度，响应速度提升300%；短视频创作者用工作流一键生成爆款内容，效率提升10倍。这种“智能化业务系统”正成为企业差异化竞争的关键。 三、企业如何构建自己的AI工作流 1、需求分析与流程拆解 1）. 明确业务痛点与目标 • 需优先识别高频、高成本或易出错的流程（如文档处理、多系统协作、客户响应）。例如，某制造企业通过分析发现采购订单处理耗时占整体流程的60%，将其列为改造重点。 • 制定量化目标，如“将处理时间缩短70%”或“错误率降低至0.5%以下”。 2）. 流程可视化与节点拆分 • 使用流程挖掘技术还原实际执行路径，识别冗余环节（如重复审批、人工数据录入）。某物流企业通过日志分析发现32%的运单存在重复审核，取消14个无效节点后效率提升40%。 • 将复杂流程分解为可独立运行的子任务（例如“合同审核”可拆分为“信息提取→合规检查→风险标注”）。 2、技术选型与架构设计 1）. 选择适配的AI工具与平台 • 基础技术层：根据任务类型选择NLP（如客户咨询分类）、机器学习（如风险预测）或计算机视觉（如质检图像分析）。 • 编排工具：采用工作流引擎（如Zapier、UiPath）或专用框架（如LangGraph）实现任务顺序控制和条件路由。例如，通过LangGraph可构建“分类→实体提取→摘要生成”的文本处理流水线。 2）. 构建“感知-决策-执行”闭环系统 • 感知层：集成多模态输入（文本、语音、图像）并解析实时数据流。 • 决策层：结合规则引擎与机器学习模型动态调整策略，如银行信贷审批中AI根据实时数据优化风险评估阈值。 • 执行层：通过API或RPA工具连接现有系统，实现自动化操作（如ERP数据同步）。 3、数据治理与模型开发 1）. 数据准备与质量管控 • 收集历史数据并清洗标注，建立标准化数据集。某金融机构通过清洗10万份合同数据，使AI模型准确率从85%提升至99%。 • 构建动态更新的知识库，支持语义检索和自动摘要，例如法律行业将判例库与AI结合实现智能法律咨询。 2）. 模型训练与优化 • 采用迁移学习加速训练，如在制造业中复用已有质检模型参数，仅需20%新数据即可适配新产线。 • 建立反馈机制，通过用户行为数据持续迭代模型。某电商客服系统每月更新意图识别模型，响应准确率季度提升12%。 4、实施落地与迭代管理 1）. 分阶段验证与扩展 • 最小化验证（MVP）：选择单一部门或流程试点，例如某政府机构在政务热线分类任务中实现94%准确率后推广至全系统。 • 规模化部署：按“部门→事业部→集团”路径扩展，某药企6个月内将质检流程改造经验复用到采购、物流等环节。 2）. 监控与持续优化 • 建立双维度看板： • 效率看板：追踪处理时长、人力节省等指标。 • 业务看板：监控客户满意度、合规率等结果。 • 动态调整规则库，如保险公司根据市场变化每月更新风控模型的权重参数。 5、组织协同与变革管理 1）. 跨部门协作机制 • 成立由业务、IT和数据科学家组成的联合团队，确保技术方案与业务需求对齐。 • 制定标准化文档和API接口，降低系统耦合度。某零售企业通过统一数据中台，使库存预测系统与门店销售系统无缝对接。 2）. 员工培训与文化转型 • 开展分层培训：一线员工掌握工具操作，管理者学习流程优化方法论。 • 设计激励机制，如将AI节省的人力成本按比例奖励给流程改进团队。 典型行业案例参考 1. 制造业：某汽车配件厂用AI自动化处理采购订单，单张处理成本从38元降至6元，年节省436万元。 2. 金融业：城商行通过AI信贷审批模型，将小额贷款放款时间从3天压缩至8分钟。 3. 医疗行业：医院利用NLP自动解析病历，医生诊断效率提升50%。 四、AI工作流与业务的深度融合 1. 客户服务智能化 智能客服系统通过意图识别、知识库检索、多轮对话等模块，将85%的咨询问题自动化处理，同时精准识别复杂需求并转接人工。某电商企业应用后，客户满意度提升25%，人力成本降低80%。 2. 供应链弹性重构 AI工作流实时分析历史销售、天气、竞品数据，动态调整生产计划与物流路径。某鞋服品牌通过该技术，缺货率从12%降至3%，滞销库存减少35%。 3. 战略决策赋能 舆情监测系统自动抓取社交媒体负面信息，量化品牌情感变化并生成危机应对建议；金融企业利用AI模拟市场波动，辅助投资策略制定。 让AI工作流成为企业的“第二增长曲线” 从单点自动化到全流程重构，AI工作流正在改写商业世界的底层逻辑。它不是冰冷的工具，而是赋予企业“思考”与“进化”能力的数字伙伴。正如吴恩达所言：“AI工作流的价值可能超过下一代基础模型”，其核心在于将复杂任务转化为可迭代、可优化的智能生命体。 • “AI工作流不是替代人，而是让人更像人。” • “效率战争中的核爆级工具，正在重新定义企业的生存法则。” 当企业真正理解并善用AI工作流，便能在这场数字化革命中，从“跟跑者”蜕变为“领跑者”。未来已来，你准备好了吗？ 来源（公众号）：AI数据推进器

政府数字化转型正在逐步深化，从政务服务到城市治理，数据归集与优化是关键。文章探讨了数据治理的成就与挑战，包括数据资源存储、共享与安全管理问题，并提出解决方案，如深化数据归集、优化数据机制、加强数据安全建设。数字化转型不会停止，将持续推动政府治理现代化。

大数据领域有个有趣现象：当一项技术引发热议时，我们往往忘记它已经存在多久。数据湖就是这样一个例子。 2010年，Pentaho创始人詹姆斯·狄克逊在纽约Hadoop World大会提出"数据湖"概念。时至今日，这项技术已经走过十多年历程，经历了从概念到应用的完整演变。 让我们放下技术细节，重新审视数据湖在这十几年间发生的变化与未来可能的发展方向。 数据湖：从概念到现实的三次飞跃 詹姆斯·狄克逊最初对数据湖的描述很朴素："把原来在磁带上存储的东西倒入数据湖，就可以开始探索数据了。"这个概念听起来简单，却解决了当时企业面临的核心痛点：如何高效存储和分析多种类型的数据。 数据湖的引力场：吸引企业的四大磁力 站在2025年回望，数据湖之所以能从概念走向广泛应用，源于其四大独特吸引力：无限包容的数据接纳能力。数据湖支持从结构化数据到半结构化数据，再到非结构化和二进制数据的全方位接入。企业不再担心"这种数据无法存储"的问题。随着5G和物联网的发展，实时流数据处理需求激增，数据湖的这一特性显得尤为珍贵。打破数据孤岛的整合能力。传统企业IT系统呈"烟囱式"架构，各应用间数据互不相通。数据湖通过汇集不同来源的数据，解决了这一长期困扰企业的痛点。一位制造业CIO曾对我说："数据湖让我们第一次看到了整个公司的全貌。"灵活多变的分析能力。与数据仓库严格的"写时模式"(Schema-On-Write)不同，数据湖采用"读时模式"(Schema-On-Read)，保留数据原始状态。这一特性使企业能够根据不同需求灵活定义分析模型，无需预先确定数据用途。敏捷可扩展的架构能力。数据湖基于分布式架构，扩展时不会"牵一发而动全身"。一家电商企业在双11期间只用三天时间就完成了数据湖的扩容，而传统方案可能需要数周甚至数月。 云上数据湖：技术演进的新阶段 数据湖发展十年，最关键的转折点是云计算的普及。企业级数据湖对性能、扩展性、稳定性和经济性要求极高，这恰恰是云服务的优势所在。AWS、微软Azure、阿里云、华为云成为数据湖领域的主力玩家。AWS于2018年推出Lake Formation服务；Azure早在2015年就布局了数据湖服务；阿里云在2018年中推出Data Lake Analytics；华为云则提供了Data Lake Insight服务。云服务商带来三个关键改变：一是降低了数据湖的使用门槛，企业无需复杂的技术积累即可快速部署；二是增强了数据湖的安全性与稳定性，解决了企业对数据安全的顾虑；三是引入了serverless架构，企业可按需付费，避免资源浪费。数据湖与数据仓库的关系也发生了微妙变化。最初业界认为数据湖将替代数据仓库，但十年发展表明两者各有所长，可以协同工作。数据湖适合存储原始数据并支持灵活分析，而数据仓库仍是结构化数据查询报表的理想选择。一位资深数据架构师形象地说："数据湖是原材料市场，数据仓库是精品超市，两者相辅相成。" 数据湖的未来：AI驱动的智能化演进 数据湖走过十年发展历程，未来道路将更加清晰。结合当前技术发展趋势，未来五年数据湖将呈现五大发展方向：AI增强治理能力。当前数据湖面临的最大挑战是"数据沼泽化"——数据存储容易，但治理困难。未来数据湖将深度融合大模型技术，实现智能元数据管理、自动数据分类和关联分析，降低数据治理成本，提升数据质量。实时处理能力升级。流批一体已成为数据处理的基本需求。下一代数据湖将进一步提升实时处理能力，支持毫秒级数据响应，满足物联网、智能制造等场景的超低延迟需求。多云协同统一视图。企业数据分散在多个云平台已成常态。未来数据湖将突破单云边界，实现跨云数据共享与计算，为企业提供统一数据视图，避免新的"云上数据孤岛"。数据安全与隐私保护。随着数据价值提升，安全重要性日益凸显。未来数据湖将内置更完善的权限控制机制，并融合联邦学习、隐私计算等技术，平衡数据共享与隐私保护的矛盾。数据资产价值量化。数据价值难以衡量一直是困扰企业的问题。未来数据湖将引入数据资产评估模型，通过使用频率、业务贡献等指标量化数据价值，帮助企业精准投资数据资源。 回望数据湖近十几年发展，我们看到的不仅是一项技术的成熟，更是数据价值观念的革命。从"存得下"到"用得好"，企业数据应用思维正在发生根本性转变。数据湖从未许诺解决所有数据问题，它只是为企业提供了一个更灵活、更包容的数据管理方案。就像自然界的湖泊需要活水循环才能保持生态平衡，企业数据湖也需要持续的数据流动与治理，才能避免沦为"数据沼泽"。十年前，詹姆斯·狄克逊提出数据湖概念时可能没有预见到今天的繁荣景象。十年后的今天，我们有理由相信，随着AI技术融合与企业数字化转型深入，数据湖还将迎来更广阔的发展空间。未来已来，数据湖的旅程才刚刚开始。 来源（公众号）：大数据AI智能圈

你是否曾面对过这样的困境：海量数据如同洪水般涌来，传统数据库却无力应对？当分析查询需求日益增长，普通数据库却只能提供龟速的响应时间？当业务决策需要实时洞察，而系统返回的只有超时提示？ 这正是Apache Doris要解决的核心问题。 Apache Doris：不止于速度的数据分析利器 Apache Doris是一款基于MPP架构的高性能实时分析型数据库，它以极致高效、超级简单和统一整合的特点在数据分析领域脱颖而出，能在亚秒级时间内完成对海量数据的查询请求，无论是高并发点查询还是复杂分析场景，Doris都能轻松应对。 我第一次接触Doris是在一个业务挑战中。当时面对每天超过几十亿条的用户行为数据，传统MySQL已无力支撑实时查询需求，整个团队陷入困境。一位同事推荐了Doris，半信半疑中我们决定一试。部署过程出乎意料地简单，只需配置两类节点：Frontend负责接收请求和解析规划，Backend负责存储和执行。三天后，系统上线，原本需要20分钟的复杂分析查询，响应时间降至1.2秒。 Doris最初是百度广告报表业务的Palo项目，2017年对外开源，2018年由百度捐赠给Apache基金会孵化。2022年6月，正式成为Apache顶级项目。如今，Apache Doris已在全球超过5千多家企业环境中落地应用，包括百度、美团、小米、京东、字节跳动等国内80%的顶级互联网公司，以及众多金融、消费、电信、工业制造、能源和医疗领域的企业。 Doris核心竞争力：架构简洁、性能强劲 与同类产品相比，Doris的架构简洁得令人惊讶。整个系统只有两类进程：Frontend(FE)：负责接收用户请求、查询解析规划、元数据管理和节点管理。Backend(BE)：负责数据存储和查询计划执行。这种高度集成的架构极大降低了分布式系统的运维复杂度。一位资深运维工程师曾对我说："相比其他分布式系统动辄十几个组件的复杂架构，Doris就像一股清流，它让我们从繁琐的运维工作中解脱出来。" Doris还支持存算分离架构，用户可以根据业务需求灵活选择。从Doris3.0版本开始，可以使用统一的共享存储层作为数据存储空间，独立扩展存储容量和计算资源，实现最佳性能和成本平衡。性能方面，Doris采用列式存储技术，对数据进行编码与压缩，大幅优化查询性能和存储压缩比。它的查询引擎基于MPP架构，支持向量化执行，能高效处理复杂分析查询，实现低延迟实时分析。一家电商公司的数据团队负责人分享过他们的使用体验："我们有一张包含1亿条记录的用户行为分析表，在Doris上执行复杂的多维分析查询，平均响应时间仅为0.8秒，而同样的查询在我们之前的系统上需要15秒以上。这种性能差异直接改变了分析师的工作方式。" Doris实战应用：从理论到实践 Doris主要应用于以下场景： 实时数据分析：提供实时更新的报表和仪表盘，支持实时决策需求；实现多维数据分析，支持即席查询；分析用户行为和画像。 湖仓融合分析：加速湖仓数据查询；支持跨多个数据源的联邦查询；结合实时数据流和批量数据处理。 半结构化数据分析：对分布式系统中的日志和事件数据进行实时或批量分析。一家金融科技公司的CTO曾向我展示他们如何利用Doris构建全公司的实时分析平台。 "我们每天处理超过10亿笔交易数据，需要实时监控交易异常、分析用户行为和评估风险。传统方案要么延迟高，要么成本高，直到我们发现了Doris。现在，我们的风控团队可以在秒级内检测可疑交易，大大提高了系统的安全性。" Doris的MySQL协议兼容性也极大降低了用户学习成本。通过标准SQL语法，用户可以使用各类客户端工具访问Doris，实现与BI工具的无缝集成。 结语 一位资深数据架构师曾这样评价："Doris给我最大的惊喜不是它的速度，而是它的稳定性。在我们长达18个月的使用过程中，即使面对节点故障、网络波动等各种问题，Doris依然保持着稳定的服务。" Apache Doris正在为数据分析带来革命性变化。通过极简的架构、卓越的性能和广泛的生态兼容性，它让企业能够真正发挥数据的价值，从海量信息中获取实时洞察。无论是互联网巨头还是传统行业，Doris都提供了一条高效、低成本的数据分析之路。 来源(公众号）：大数据AI智能圈

本文探讨数据作为数字经济时代新型生产要素的角色，强调数据智能的重要性及数据要素化、市场化的必要性。数据不仅是数字化信息，更是支撑数据智能的原始事实数据。文章指出，培育数据要素市场需构建适应数据特点的基础性市场形成机制，包括数据产品激励、描述、发现与价值实现，以推动数据要素价值的创造、流通与实现，助力国家数据经济发展。

2025 年 2 月 19 日，当 ChatGPT - 5 以近乎人类的逻辑能力通过执业医师资格考试时，人们猛然惊觉：在 AI 时代，大模型的能力终将趋于相同，然而，真正决定胜负的关键，是隐匿于算法背后的高质量数据集。这就好比所有厨师都能购置相同的锅具，但唯有掌握独家秘方的人，才能烹饪出米其林三星级别的美食。 一、数据金矿的真相：核心竞争力所在 在 AI 领域，存在着一个有悖于直觉的现象：全球顶尖实验室的算法代码几乎全部开源，然而 OpenAI 仅仅依靠 45TB 高质量训练数据，便构建起了技术壁垒。这有力地印证了一个核心观点：模型能力终会收敛，而数据质量则决定了价值的上限。以谷歌医疗 AI 和特斯拉自动驾驶系统为例： •谷歌医疗 AI 凭借整合 200 万份电子病历、影像数据和基因组信息的多模态医疗数据集，使其诊断准确率高达 94%； •特斯拉自动驾驶系统则得益于车队每日回传的 160 亿帧真实道路场景数据，迭代速度远超同行。这些案例清晰地揭示出：当算力与算法成为基础设施时，数据质量才是真正难以逾越的护城河。相关文献指出，政府部门掌握着全社会 80% 的高价值数据，但当前公共数据开放率不足 30%，大量 “数据原油” 尚未被转化为 “数据汽油”。 同时，企业日常生产和服务中产生的数据，同样是一座尚未被充分开采的金矿。特斯拉每天通过全球 300 万辆汽车收集 160 亿帧道路数据，这些原本只是自动驾驶系统的 “副产品”，却成为其估值突破万亿美元的核心资产。企业数据价值可通过公式 “企业数据价值 = 数据质量 × 应用场景 × 流通效率” 来体现，其中数据质量由准确性、完整性、时效性构成，直接影响价值转化系数。 二、数据炼金术的重重难关 （一）数据荒漠化危机中文互联网优质语料仅占英文数据的 1/5，并且存在严重的长尾效应。据文献显示，某头部大模型在训练时，不得不使用 30% 的低质量网络爬虫数据，这导致模型出现 “幻觉” 的概率提升了 47%。 （二）数据孤岛困境某东部省份政务平台接入了 58 个部门的业务系统，但由于数据标准不统一，需要开发 142 个数据转换接口。这种碎片化的现状，直接致使智慧城市项目中数据分析成本占比高达 65%。 （三）数据标注的 “罗塞塔石碑”在自动驾驶场景中，标注 1 小时激光雷达点云数据，需要专业团队工作 3 天，成本超过 2000 元。文献指出，数据清洗与标注环节，消耗了 AI 项目 70% 的人力和时间成本。 三、企业数据炼金术：化腐朽为神奇 （一）企业构建高质量数据集四步法 1.数据治理筑基：美的集团通过建立 “数据字典”，统一 200 多个业务系统字段定义，将数据清洗效率提升 80%，设备故障预测准确率从 65% 跃升至 92%。关键措施包括： ◦制定《数据质量标准手册》明确 5 级质量评级； ◦部署自动化数据校验工具，实时拦截错误数据； ◦建立数据血缘图谱，实现全生命周期追溯。 2.技术赋能提纯：京东物流运用联邦学习技术，在不共享原始数据的前提下，联合 200 家供应商构建智能补货模型，库存周转率提升 37%。前沿技术应用还包括： ◦智能标注（AI 预标注 + 人工复核，使自动驾驶数据标注成本降低 60%）； ◦合成数据（GAN 生成工业缺陷样本，解决小样本训练难题）；◦区块链存证（为每个数据单元打上 “数字指纹” 确保可信）。 3.数据资产化运营：某头部电商将用户行为数据封装为 “消费者洞察指数”，通过数据交易所年交易额超 5 亿元。创新模式包括： ◦数据资产入表（按《企业数据资源会计处理规定》将数据集纳入资产负债表）； ◦数据质押融资（以医疗影像数据集获得银行 2 亿元授信额度）； ◦数据收益分成（与合作伙伴按模型效果进行分成结算）。 4.场景价值闭环：三一重工在工程机械安装 5000 + 传感器，实时数据驱动实现： ◦预测性维护（故障预警准确率 91%，维修成本下降 45%）； ◦能耗优化（通过工况数据分析，设备油耗降低 18%）； ◦产品迭代（根据 150 万小时作业数据改进新一代挖掘机设计）。 四、构建高质量数据集的多重炼金术 （一）政企协同的数据生态 深圳数据交易所创新推出 “数据海关” 模式，通过区块链技术实现政务数据与企业数据的合规流通。截至 2025 年 1 月，已完成医疗、交通等领域的 12 个跨域数据集建设，数据使用效率提升 300%。 （二）技术驱动的数据提纯 •采用 GAN 网络自动修复缺失数据，某电网公司设备故障预测准确率从 78% 提升至 93%； •银行间通过加密沙箱共享反欺诈数据，模型效果提升 40% 且不泄露原始数据。 （三）标准引领的质量体系 湖北省发布的《高质量数据集白皮书》首创 “5A” 评估标准（Accuracy, Accessibility, Authenticity, Auditability, Actionability），使金融风控数据集交易合格率从 32% 跃升至 89%。 （四）价值循环的商业模式 上海某三甲医院将脱敏后的 30 万份电子病历转化为医疗数据集，通过 “数据入股” 方式与 AI 企业合作，年收益超 2 亿元。这种 “DaaS（数据即服务）” 模式正在引发产业变革。 五、数据价值飞轮：从成本到利润的转变 当某乳企将奶牛体温监测数据转化为 “牧场健康指数” 产品时，意外开拓了年收入 3 亿元的数字化服务市场。这印证了数据价值创造的三大范式： 1.内生价值挖掘： ◦海尔工厂通过 MES 系统数据优化排产，交付周期缩短 32%； ◦顺丰利用运单数据训练智能路由算法，分拣效率提升 28%。 2.外延价值创造： ◦电网公司出售脱敏用电数据，助力新能源企业精准选址； ◦连锁药店联合药企开发 “区域流行病预警系统”，年服务费收入超 8000 万。 3.生态价值重构： ◦汽车制造商开放车辆数据接口，吸引 300 + 开发者创建车联网应用； ◦物流平台构建产业数据中台，带动上下游企业平均降本 15%。 六、数据资本主义时代的企业行动纲领 1.建立首席数据官（CDO）体系：平安集团 CDO 办公室统筹管理 200PB 数据资产，通过数据产品矩阵年创收超百亿。 2.打造数据中台 2.0：某银行升级数据中台为 “智能数据工厂”，实现： ◦实时数据服务响应速度 < 50ms；◦自动化数据产品生成效率提升 10 倍； ◦模型训练数据准备周期从周级降至小时级。 3.构建数据利益共同体：长三角 16 家制造企业共建 “工业数据联盟”，通过可信数据空间交换数据，实现： ◦共享设备故障数据训练行业级预测模型； ◦联合开发数据产品按贡献度分配收益； ◦建立数据质量联保机制防范风险。 七、未来图景：数据要素的崭新大陆 当数据质量认证体系与电力 ISO 标准同等重要时，我们或许将看到： •每个城市出现 “数据精炼厂”，专门处理原始数据到训练数据的转化； •出现类似穆迪的数据质量评级机构，为数据集颁发 “AAA” 信用证书； •数据质量保险成为新险种，承保 AI 模型因数据缺陷导致的决策失误。文献预言，到 2030 年，高质量数据集交易市场规模将突破万亿，成为比云计算更基础的数字经济基础设施。这场悄然发生的数据革命，正在重塑全球创新版图。因为，真正改变世界的，从来不是算法，而是算法背后那些经过千锤百炼的数据真相。在这个 AI 无处不在的时代，数据不是石油，而是能将铅块变成黄金的哲人石。那些率先掌握数据炼金术的企业，正在将生产流程中的每个字节转化为数字时代的硬通货。 参考文献： 1.王晓明。加快建设人工智能高质量数据集。科技日报，2025. 2.彭宗峰，周婧。政府开放数据治理体系构建。光明日报，2023. 3.深圳数据交易所。高质量数据集标准白皮书，2024. 4.企业数据质量管理实践，2024. 5.湖北省数据局。高质量数据集白皮书，2024. 6.华为《如何构建高质量大模型数据集》 来源（公众号）：AI数据推进器

Zoho首席科学家兼联合创始人Sridhar Vembu近期分享了他对公司人工智能策略、产品集成以及这项技术长期愿景的见解。他在Zoholics India 2025大会上的主题演讲，以务实的视角探讨了人工智能的现状、潜力以及尚存的不足。以下是本次精彩演讲的十大要点： 大规模人工智能代码生成会带来安全和合规风险，因此人工审核必不可少：虽然人工智能可以快速生成大量代码（例如，几分钟内生成 10,000 行），但其工作量远远超出了人工审核的可行性。匆忙将此类代码投入生产环境是危险的，因为它会使组织面临严重的风险：安全漏洞、意外数据泄露和违反监管规定。Zoho 的政策是不部署未经审核的人工智能生成代码，因为合规性和安全运营的最终责任在于公司，而不是人工智能工具。 从数学角度来说，保证代码的质量或安全性是不可能的。人工智能也不例外。即使是最智能的人工智能，也受限于计算机科学的规则，例如停机问题和赖斯定理，无法保证代码完全没有漏洞或安全隐患。这意味着任何关于人工智能编写的软件完美无瑕或“绝对安全”的说法，从根本上来说都是无法实现的。人工智能可以增强人们的信心，但它无法取代严谨的人工测试和持续的监控。 人工智能的生产力提升主要集中在样板代码而非实质性的关键业务逻辑上：人工智能最受关注的部分是其驱动的开发带来的生产力提升（例如，一些公司声称提升了20-30%），而这种提升主要体现在重复性或模板化的任务上，例如用户界面模板设计。在解决复杂的后端业务问题时，人工智能带来的实际性能提升仍然有限，这意味着最有价值、最复杂的工作仍然严重依赖于人类的专业知识，而非自动化。 指望人工智能大规模取代人类从事编程和支持工作是过分夸大且风险极高的：数万亿美元人工智能投资背后的逻辑是，机器将取代相当一部分程序员和支持人员，从而降低成本。然而，如果这种取代真的发生（例如，裁减20-30%的岗位），服务质量和客户满意度的下降将立即显现。Zoho的招聘趋势——不断增加对支持人员的招聘——进一步印证了成熟可靠的人工服务目前还无法被人工智能取代的观点。客户会注意到这种变化，并且通常会反对这种替换。 管理和修改大型复杂代码库仍然是人工智能工具无法解决的一大难题。正如Vembu所说，“恐惧因素”意味着阅读、理解并安全地修改复杂的现有系统是编程界的一条“铁律”，而且随着代码库的增长，难度也会越来越大。这种困难会让程序员犹豫不决（“代码恐惧症”），从而降低他们的工作效率。目前的人工智能解决方案无法解决这些心理和实际障碍；因此，企业应该降低对人工智能变革性影响的预期。 人工智能应该被用作高级研究助手和知识合成器，而不是自主决策者：人工智能的优势在于能够收集、消化和综合来自博客、书籍和各种网络数据的海量公共领域信息，从而为人类决策者提供对某一主题的全面理解。保留人类对人工智能生成的洞见进行筛选、解读和最终决策的责任，才能获得最佳结果。 利用人工智能“自我批判”或其他人工智能输出结果，可以显著提升结果质量： Vembu 推荐采用“苏格拉底式”方法：让人工智能自我审查其建议，寻求其他人工智能的意见（例如，ChatGPT 可以批判 Gemini），或者促进对抗性反馈循环。这种方法能够揭示不一致之处，指出遗漏，并促使人工智能提供细致入微、平衡的答案，使其成为那些需要生成模型提供更深入、更客观结果的用户的强大工具。 由于存在产生幻觉的风险，人工智能生成的内容不适用于监管文件或法律文书：人工智能倾向于捏造引证或编造看似合理但实则错误的信息（即所谓的“人工智能幻觉”），这在法律、财务或合规性要求极高的场合尤为危险。现实中已经出现过相关的法律后果，例如律师因使用包含虚假案例的人工智能生成的法律文书而受到处罚。这表明，对于这些敏感的应用，人工监督至关重要。 目前人工智能在工作场所最有效的应用方式是作为一种增强工具，而非替代工具： Zoho 发现，通过人工智能驱动的建议和快速搜索功能赋能客服人员（以及其他面向客户的员工），能够实现更快、更明智的响应，从而获得最佳效果。这种模式并非要裁员，而是加快问题解决速度，提升客户满意度，因为员工仍然是互动的核心，只是被技术增强而非取代。 “人工智能等于失业”的说法并非全然正确：有时它被用来为裁员辩护，而非反映人工智能的实际能力。经济和技术批评人士经常将人工智能视为裁员的主要原因。然而，Vembu指出，至少在Zoho的经验中，“人工智能取代人工”经常被一些公司用作在市场低迷时期裁员的借口。事实上，强劲的业务增长（正如Zoho所展现的那样）可以推动招聘增加，即便人工智能的应用日益普及，因为技术和团队是共同发展的，而不是相互排斥的。 小结 斯里达尔·文布对人工智能提出了务实而深刻的观点。他承认人工智能作为科研和人类增强工具的巨大潜力，但同时强烈警告不要在关键且责任重大的领域过度自主部署人工智能。他认为，人工智能与传统计算的未来在于二者的协同作用；然而，这项技术飞跃可能会带来深刻的经济变革。 来源（公众号）：数据驱动智能