“数据架构”这个词，搞数据的同行们天天都在说。 但你真的能一句话讲清楚它到底是啥、为啥那么重要、又该怎么设计吗？ 是不是一提到它，脑子里就蹦出来一堆技术名词和分层模型，比如 ODS、DWD、DWS、ADS？ 打住！数据架构可远不只是技术的堆砌。 今天，我就抛开那些模糊的概念和花哨的术语，用大白话手把手拆解数据架构的核心逻辑—— 数据架构到底是什么？ 为什么需要数据架构？它有什么作用？ 该怎么设计数据架构才能真正帮到业务？ 读完这篇，保证你能把数据架构讲得明明白白！ 一、数据架构到底是什么 很多人一提到数据架构，第一反应就是： "不就是数据分层吗？ODS→DWD→DWS→ADS，再套个Lambda架构或者Kappa架构？" 这种想法： 把数据架构弄窄了，当成了技术组件的排列组合，却忘了它的本质是连接业务目标和技术实现的"数字骨架"。 说个实际点的例子： 一家连锁超市想搞"千店千面"的选品策略，需要的数据可能来自： POS系统（实时销量） 会员系统（消费偏好） 天气平台（区域气温） 供应链（库存周转） 这些数据得先预处理： 最后才能给到前端APP的选品推荐模块。 支撑这个流程的，不是单一的数据库或ETL工具，而是一整套逻辑： 数据从哪来（多源异构数据的接入标准得明确）； 存什么、怎么存（哪些进数据湖、哪些进数据仓、哪些放实时缓存里）； 如何加工（批量处理和实时计算的边界得划清）； 怎么用（API接口的权限要控制，业务人员得能自己取数）； 如何管（数据质量谁负责、元数据怎么追踪、血缘关系怎么监控）。 这些问题的答案，合在一起才是数据架构的核心。 所以说： 数据架构不是一成不变的技术蓝图，是跟着业务目标、数据规模、技术发展随时调整的"活系统"。它得跟着企业的实际情况动，不是建完就万事大吉了。 二、数据架构设计的四个关键维度 明白了数据架构的本质，接下来就得解决"怎么设计"的问题。 传统方法常把数据架构分成"采集-存储-处理-服务-治理"五层，但这么分容易让人钻进"技术至上"的牛角尖。 我从实战里总结出四个关键维度，能覆盖从业务需求到落地的全流程。 1. 责任分明的分层设计 数据分层包括： ODS原始层 DWD明细层 DWS汇总层 ADS应用层 本质是通过分层降低复杂度，把各层的责任边界划清楚。 但很多企业在分层设计上容易出两个问题： 分层太细：比如把DWD层再拆成"基础明细层""公共明细层"，结果ETL任务链变得老长，调试起来费时又费力； 分层混乱：业务人员直接从ODS层取数，跳过明细层和汇总层，导致重复计算，而且数据口径也对不上。 说白了，正确的分层逻辑应该是"按使用场景划分责任主体"： 所以说： 分层的关键不在技术实现，而在通过责任分离减少跨团队协作成本。 2. 最合适的技术选型 数据架构的技术选型是很多人头疼的事，比如： 用Hive还是Spark处理离线数据 用ClickHouse还是Doris做实时查询 但实话实说，没有哪种技术能解决所有场景的需求。 我总结了三条选型原则，你可以参考： 匹配数据特征：如果数据是高并发、低延迟的（比如APP实时点击流），用Kafka+Flink做流处理更合适；如果是T+1的批量数据（比如财务报表），用Spark+Hive会更稳定； 考虑团队能力：如果团队熟悉SQL生态，优先选Hudi/Delta Lake这类支持ACID的事务湖，别硬上ClickHouse集群，不然维护起来费劲； 预留扩展空间：别过度依赖单一技术（比如全用HBase），可以通过湖仓一体（比如Apache Iceberg）实现"一份数据多场景用"，降低被单一技术绑定的风险。 3. 全流程嵌入的治理体系 数据治理常被误会成"贴标签、建元数据、做质量检查"。 但实际上： 60%的数据问题都是因为治理体系没嵌到数据处理的全流程里。 真正有用的治理，得包含三个关键动作： 4. 支撑业务的演进路径 数据架构不是一锤子买卖，得跟着业务发展慢慢演进。 我观察到三种典型的演进阶段，你可以看看自己的团队在哪个阶段： 生存期（0-3年）：业务扩张快，数据需求零散。这时候架构的核心是"快速支撑"，允许一定冗余，但得留着数据打通的可能； 发展期（3-5年）：业务进入稳定期，数据问题集中爆发。这时候得"集中治理"，通过湖仓一体平台把分散的数据整合起来，建立全局的数据标准和治理体系； 成熟期（5年以上）：数据成了核心生产要素，得"智能驱动"。这时候架构要能支持AI能力，还得通过数据产品化，让业务人员用起来更方便。 三、数据架构的三个常见误区 在数据架构设计上，我见过太多"用力太猛"或"因小失大"的情况。下面这三个常见误区，你可得避开： 1. 别为了"技术先进"丢了"业务价值" 很多企业盲目追新技术，刚接触数据湖就想把数据仓全迁过去，或者为了搞实时计算，把所有ETL都改成流处理，结果开发成本涨了一大截，业务人员却用不起来。 但实际上： 技术的价值是解决业务问题，不是用来证明自己多厉害。 如果： 一个业务的日数据量只有100GB，用Hive做批量处理比用Flink做实时计算更稳定、更省钱，没必要非得用新技术。 2. 别把"数据治理"做成"面子工程" 有些企业花大价钱买元数据管理工具，做了漂亮的血缘图谱，可数据质量问题还是不断。 问题出在哪？ 治理没和业务流程绑在一起。比如： 用户信息修改，得经过数据质量校验才能入库，不能等数据进了湖再清洗。 所以说： 治理得"往前放"，别等出了问题再补，那时候就晚了。 3. 别追求"完美架构"，忘了"动态调整" 数据架构没有"最优解"，只有"最适合当前阶段的解"。 之前找我咨询的一家零售企业： 在业务扩张期，非要搞**"大一统"的数据架构**，要求所有业务线用统一的标签体系。 结果呢？ 生鲜事业部的"促销敏感用户"标签和美妆事业部的"复购周期"标签合不到一起，反而拖慢了业务创新。 所以说： 好的架构得允许"局部最优"，慢慢再整合，一口吃不成胖子。 总结 数据架构不是技术的堆砌，是业务的翻译官——把业务目标变成数据需求，再把数据价值变成业务成果。 下次你再为数据架构头疼时，不妨问问自己： 这套架构真的支撑了当前最核心的业务目标吗？ 数据从产生到使用的每个环节，责任都清楚吗？ 业务需求变了，架构能快速调整吗？ 想清楚这三个问题，你离"把数据架构讲清楚"就不远了。 来源（公众号）：五分钟学大数据

“哥，Doris 4.0 把 AI 塞进数据库了！” 凌晨一点，DBA老周在群里甩出这句话，附带一张截图：一条 SQL 直接调通简历筛选，把 30 万份数据 3 秒跑完。 我盯着屏幕，咖啡差点洒键盘——这年头，连数据库都开始抢 HR 的饭碗？

在数字化浪潮席卷的当下，数据已成为企业核心资产，但“沉睡”的数据难以创造价值。如何打破数据孤岛、提升数据质量、挖掘数据潜能？数据治理正是关键钥匙！它通过构建流通底座、强化质量管控、驱动智能决策等举措，让数据真正“跑起来”。 接下来，让我们深入探讨数据治理如何助力企业实现价值跃升！具体可从以下五个层面展开分析： 一、打破数据孤岛：构建流通与共享的“数据高速公路”‌ ‌技术整合‌ 通过数据集成平台、数据湖等技术，实现多源异构数据的统一采集与存储。例如，某市卫计委构建区域医疗健康大数据平台，整合医院、社区、第三方机构的数据，打破信息壁垒，使患者病历、检查报告等数据跨机构流通，提升诊疗效率。 ‌组织协作‌ 设立数据治理委员会或跨部门团队，明确数据所有权与管理责任。例如，某企业建立公司级数据管理部，统一信息架构与数据标准，推动业务数据分类存储与快速调用，实现全球100多个国家和地区的业务协同。 ‌共享机制‌ 构建数据共享平台，支持多协议、扩展性强的数据交换。例如，某制造企业与上游供应商打通系统，同步生产计划与供应规划，供应商根据共享数据调整生产与配送计划，实现上下游高效协同。 二、提升数据质量：筑牢数据价值的“基石”‌ ‌标准化管理‌ 制定统一的数据标准（如命名规范、编码规则、业务术语），确保数据一致性。例如，某地产企业通过建立“楼盘字典”，人工采集与录入房源数据，解决行业“假房源”问题，为后续服务提供可靠基础。 ‌质量监控‌ 建立数据质量评估机制，定期清洗、校验数据。例如，某银行采集客户身份、贷款额度等数据，构建信用评分模型，自动预测违约风险，减少潜在损失。 ‌全生命周期管理‌ 从数据采集、存储、处理到退役，实施全流程管控。例如，某区政府数据共享交换平台制定数据保留期限与处置方式，确保数据安全退役，降低存储成本。 三、强化数据安全与合规：构建数据流通的“防护网”‌ ‌技术防护‌ 采用数据加密、访问控制、脱敏等技术，保障数据传输与存储安全。例如，企业通过数据分级授权，限制敏感数据访问权限，防止泄露。 ‌合规管理‌ 遵守GDPR、CCPA等法规，建立数据安全政策与审计机制。例如，某企业在全球化扩张中，严格遵守各国数据安全法规，避免法律风险。 ‌风险控制‌ 基于知识图谱构建风险分析服务，如360°客户画像、企业关系图谱，实现供应链与投融资的风险预警。例如，某企业通过分析食品来源与成分数据，管理公共领域风险。 四、驱动数智决策：让数据成为业务的“指南针”‌ ‌数据分析与挖掘‌ 利用大数据、人工智能等技术，发现数据深层价值。例如，某企业融合外部行业趋势数据与内部产品反馈数据，洞察客户需求，优化新品研发。 ‌智能化应用‌ 构建智能决策系统，如搜索引擎、问答系统，提升决策效率。例如，知识图谱结合自然语言识别技术，支持企业快速查询与分析数据。 ‌业务场景赋能‌ 将数据应用于具体业务场景，如医疗健康、金融风控、智能制造。例如，基层医疗机构通过分析社区老年人健康数据，推进医防融合，提升服务质量。 五、培育数据文化：营造数据驱动的“生态圈”‌ ‌领导力推动‌ 高层领导以身作则，推动数据文化普及。例如，企业管理层通过数据了解业务全貌，降低决策偏离风险。 ‌绩效考核‌ 建立数据治理考核机制，激励员工参与。例如，将数据质量指标纳入部门KPI，推动跨部门协作。 ‌培训与宣传‌ 通过内部培训、研讨会等方式，提升全员数据素养。例如，鼓励员工学习DAMA-CDGA/CDGP认证，培养数据治理专业人才。 来源（公众号）：数据治理研究院

习近平总书记强调，要密切关注天气变化，加强监测研判，及时发布预警预报信息。气象数据作为国家战略性、基础性资源，是推进气象科技能力现代化和社会服务现代化的重要支撑。为充分释放气象数据要素价值、培育发展新质生产力，亟须创新更多可转化的应用场景。2023年，国家数据局等17部门联合印发《“数据要素×”三年行动计划（2024—2026年）》，明确提出“数据要素×气象服务”重点行动。2024年，中国气象局印发《“气象数据要素×”三年实施方案（2024—2026年）》，推动气象数据要素发挥乘数效应，赋能经济社会高质量发展。2025年“数据要素×”大赛气象服务赛道旨在加快气象数据要素与应用场景深度融合，通过利用气象信息和相关技术，增强风险应对能力，提升气象服务能力和效益，更好赋能经济社会高质量发展。 一、提升气象防灾减灾能力 通过气象数据与自然资源、交通运输、农业农村、住建、水利等数据深度融合，强化气象灾害风险预报预警产品精细化水平，支撑基础设施安全底线，提升城市运行的智慧化、韧性化水平，为新型城镇化提供坚实保障。 一是提升气象灾害预警能力。围绕实施新型城镇化战略，融入城市智慧高效治理新体系，聚焦城市内涝、农业旱涝、地质灾害等特定场景，通过数据协同挖掘灾害链关联规律，创新动态风险评估、预警信息精准推送或应急决策支撑技术，提升灾害防控的时空精细化与智能化水平，助力基础设施协同规划与高效运行。 二是加强重大工程等气候适应能力。强化重大工程、基础设施全周期气象服务，重点突破极端天气事件下的多源数据实时融合、关键基础设施脆弱性动态评估、灾害链式传播模拟等关键技术，开发场景化、定制化、精准化的预警产品及决策支撑工具，为城市安全运行提供“监测－预警－处置－评估－后处理”全链条解决方案，从规划、建设到运行全程赋能安全保障。 三是聚焦多灾种早期预警能力建设。针对城市安全韧性提升，重点突破极端气候事件下的城市规划脆弱性诊断、重大工程气候适应性优化设计、建设运维全周期气象风险预警等关键技术，构建具有时空精细化特征的“气象－规划－工程”协同决策平台，增强极端天气下城市生命线工程的抗风险能力。 二、提升气象赋能行业能力 围绕低空经济、能源气象及高价值数据产品，构建协同气象数据要素市场化配置机制。 一是护航低空经济赛道。融入低空经济基础设施与监管平台建设，构建空地一体的气象监测网、数据网和服务网。重点突破低空气象精准预报、飞行航线合理规划、极端天气风险预警等关键技术，通过精准监测、实时数据传输和定制化服务，为低空飞行器导航、空域管理、应急救援等提供支撑，推动低空物流、航空旅游等新业态安全发展，助力低空经济成为新质生产力增长极。 二是创新数据服务新业态。围绕新型电力系统构建能源气象服务体系，摸清风电、光伏资源底数，建立覆盖能源生产、输送、储存全链条的气象保障机制。开发风能太阳能资源评估、风能太阳能发电精细化气象服务、电力设施安全气象服务等创新应用，辅助电力调度优化，提升能源供应稳定性。同时，融入冰雪经济、银发经济，与景区、康养机构等经营主体联合，打造旅游、健康气象数据服务新业态。 三是释放气象数据要素价值。深入挖掘气象数据要素价值，推进气象数据要素市场化配置改革，健全产权保护、交易流通等机制，加强标准化数据集供给，探索建立可信数据空间、数据交易中心与授权运营平台，培育数商模式，推动数据赋能金融、农业等行业，通过数据流通与创新应用，释放气象数据高价值，激发产业发展新动能。 三、提升应对气候变化能力 从识别、防范到金融支撑，构建气候风险全链条应对体系，赋能生态文明建设与行业高质量发展。 一是加强风险识别能力。通过整合气象与其他领域数据，运用大数据分析与机器学习算法，健全气候承载力、影响与风险评估体系，完善数据技术标准。加强重点区域风险识别，精准评估极端天气、生态退化等风险，为风险防控提供科学依据。 二是提升气候风险防范能力。建立气候安全评估和早期预警系统，构建综合评估模型，完善实时、精准的风险预警与决策机制，并借助数据融合，创新风险转移机制。强化极端天气气候事件的监测预警，提升重点行业、生态区域风险应对能力，降低气候风险对经济社会的影响。 三是创新金融气象数据产品。研发气候投融资金融工具，将气候风险纳入投融资评估，完善巨灾保险等机制。开发精细化天气指数保险产品及天气衍生品，通过金融气象指数应用，引导资本投向气候适应项目，形成风险管控与资金保障联动机制，助力有效管控气候风险。 作者：张志富 国家气象信息中心正高级工程师 来源（公众号）：北京数据

来源（公众号）：大数据AI 智能圈 上周在一个技术交流会上，听到两位技术总监争得面红耳赤。一位坚持说RAG就够了，简单高效还省钱；另一位则认为不微调根本做不出专业应用。 这场争论让我想起很多企业在落地AI项目时的迷茫：到底该选哪条路？ 其实这个问题本身就暴露了一个认知误区。 RAG和微调从来不是二选一的单选题，而是要看你想解决什么问题。就像医生开药，头疼和胃疼用的方子能一样吗？ 先搞清楚它们到底在干什么 有个做金融科技的朋友跟我抱怨，他们公司花了大价钱微调了一个模型，结果每次监管政策更新，就得重新训练一遍。 两个月后他们改用RAG方案，新政策直接扔进知识库，第二天就能用。 这个案例很典型。RAG的工作原理说白了就是给模型配了个外挂搜索引擎。用户问问题时，系统先去向量数据库里找相关文档，然后把找到的内容和问题一起给模型，让它基于这些材料回答。整个过程模型本身一个参数都没变。 这种方式最大的优势是灵活。 我见过一家电商公司，产品库每天更新几百个SKU，用RAG做的客服系统，新品上架五分钟后就能准确回答用户咨询。换成微调的话，这种频率根本扛不住。 再说微调。它是真的在改造模型的内在能力。通过大量标注数据训练，让模型把特定领域的知识和思维方式刻进参数里。这就像是让一个人真正学会一门手艺，而不是拿着说明书照着做。 我认识一位做医疗AI的架构师，他们给诊断助手做微调时，不只是灌医学知识，更重要的是训练模型学会医生的临床思维。 比如看到某几个症状组合，会自动往特定方向追问，这种推理模式是RAG做不到的。 成本上也有意思。RAG前期投入小，搭个系统可能一周就能跑起来。但它是个长期消耗品，每次查询都要调用检索和生成，访问量大了账单也不少。 微调恰好相反，前期需要GPU资源和数据标注的重投入，但训练完成后推理成本相对固定。有家做ToB产品的公司算过账，用户量超过五万后，微调方案反而更经济。 场景才是决定技术的关键 前段时间帮一家制造企业做技术选型咨询。 他们有两个需求：一是建立设备维修知识库，二是优化生产调度算法建议。 我直接建议第一个用RAG，第二个必须微调。 为什么？ 维修知识库的特点是内容多、更新快、需要溯源。老师傅的维修笔记、设备厂商的最新手册、历史故障案例，这些资料每周都在增加。用RAG的话，技术人员上传文档后立刻就能被检索到。而且系统可以明确告诉维修工，这个方案来自哪份文档的第几页，增强可信度。 但生产调度就不一样了。它需要的不是查资料，而是理解生产线的复杂约束，学会平衡效率、成本、交期的权衡逻辑。这种深层次的业务理解，必须通过微调把历史调度数据的规律固化到模型里。 RAG只能告诉你文档里写了什么，微调才能让模型真正学会怎么做决策。 法律行业也有类似的分化。 智能检索用RAG没问题，输入案情关键词，系统从海量判例库里找出相关案件。但如果要做诉讼策略建议，就得微调。因为优秀律师的价值不在于记住多少法条，而在于理解案件的细微差别，预判法官的思路，这需要模型具备真正的专业判断力。 代码生成领域更明显。GitHub Copilot早期版本主要靠预训练模型，效果一般。后来针对各种编程语言和框架做了大量微调，生成代码的质量才有了质的飞跃。它学会了不同语言的惯用写法，理解了项目结构的最佳实践。这种能力是通过RAG检索代码片段拼凑不出来的。 我观察到一个趋势：很多成熟团队在走混合路线。 先微调一个具备领域基础能力的模型，再用RAG补充实时知识。有家做智能投顾的公司就是这么干的，用微调让模型学会金融分析的基本功，用RAG接入最新的市场资讯和研报。两者配合，既专业又及时。 落地时的真实挑战 理论说得再漂亮，落地时总会遇到各种坑。 一位做过多个项目的技术负责人跟我分享了他的踩坑经历: RAG最大的问题是召回质量。 他们做企业知识库时发现，同一个问题换个问法，检索出来的文档可能完全不同。 后来花了大力气优化向量模型和切片策略，才把准确率提上去。 还有个容易忽视的点是知识库的维护成本，文档格式五花八门，清洗和结构化处理比想象中麻烦。 微调的坑更隐蔽。 数据质量直接决定效果，但高质量标注数据往往非常稀缺。 他们给客服机器人做微调时，发现真正有价值的对话案例可能只占总量的百分之十。而且微调容易过拟合，在训练集上表现完美，一到真实场景就翻车。需要反复调整数据配比和训练策略。 还有个现实问题是团队能力。 RAG对工程能力要求高，需要搞定向量数据库、检索优化、Prompt工程这一套。微调则需要懂算法调优、数据工程、模型评估的人。很多中小企业其实两方面的人才都缺，这时候可能先用商业化的RAG方案起步更靠谱。 结语 回到开头那个争论。两位技术总监其实都没错，只是站在各自业务场景的角度得出了不同结论。 RAG的灵活性和微调的专业性，本质上服务于不同层次的需求。 如果你的核心痛点是知识频繁更新、需要溯源、预算有限，RAG是更合理的选择。如果你要打造深度行业能力、追求极致性能、用户量足够支撑成本，微调值得投入。 更多时候，聪明的做法是混合使用，让两种技术各自发挥所长。 技术选型没有银弹。重要的是搞清楚业务本质需求，评估团队能力边界，算清楚长期账本。那些真正把AI用起来的企业，都是在这些务实维度上做对了决策。工具再好，用错了场景也是浪费。 用对了，才能真正释放价值。

让数据变成看得见、管得住、用得好的资产。

数智时代，数据已成为推动科技进步和产业发展的关键要素。2024年10月，国家数据局局长刘烈宏在《人民日报》上刊文指出，充分发挥数据的基础资源作用和创新引擎作用，有利于带动各类生产要素创新性配置，促进各类先进生产要素向发展新质生产力集聚，提升全要素生产率，为发展新质生产力开辟新空间。要加快构建自立自强的数字技术创新体系，依托数据驱动科技创新，持续增强科技实力和创新能力，深化科技与产业融合，推动产业创新。2025年“数据要素×”大赛科技创新赛道紧扣“科学数据赋能科技及产业发展”核心目标，设置一系列极具前瞻性与现实意义的赛题，为行业发展指引新方向。 一、鼓励科学数据汇聚共享：筑牢协同服务网络基石 科学数据是国家科技创新发展和经济社会发展的重要基础性战略资源，科学数据的汇聚共享是实现科学数据价值最大化的基础。本赛题聚焦科学数据开放共享机制，重点关注海量多源科学数据治理、数据安全与隐私保护等场景。当前，重大科技基础设施与项目产生的各类科学数据，亟须有效汇聚与高效治理，才能串联起价值链条。大赛通过打造可信科学数据空间，实现跨领域流通的科学数据协同服务网络，将推动打破数据孤岛，让数据在不同领域间自由流动。发展综合型、智能化、交互式等新型科学数据发现服务模式，将帮助科研人员高效定位数据，推动科学数据有序开放共享和融合利用。 二、推动科技领域人工智能大模型开发：夯实智能创新根基 科学数据的质量和准确性是人工智能大模型开发的关键所在。本赛题聚焦科学数据标注分类、领域大模型预训练、微调与推理应用等，深度挖掘科学数据和文献价值。通过细粒度知识抽取和多源知识融合，构建科学知识资源底座，建设高质量语料库和基础科学数据集，为大模型提供充足“养分”。本赛题将有力支持科技领域大模型的开发训练，提升其理解和解决复杂的科学问题的能力，为科研和技术创新注入强大智能动力。 三、科学数据助力科学研究和技术创新：成为产业升级引擎 跨领域科学数据与人工智能等技术的深度融合，蕴藏巨大创新潜力。本赛题聚焦科学数据成果赋能技术创新和产业发展等场景，推动其全方位、深层次融合应用与挖掘。大赛通过搭建创新交流平台，为科研人员提供高质量的数据资源与知识服务，结合大模型等新技术，助力科研人员突破传统局限，大胆探索未知领域。特别是在生物育种、新材料等重点领域，以数智融合为引擎，驱动科学创新涌现与转化，推动产业升级迈向新高度。 四、科学数据加速科研新范式变革：催生科研新质生产力 AI for Science在各学科领域的研究与落地，标志着科研范式正迎来深刻变革。本赛题依托各类数据库与知识库，借助人工智能、大数据等技术，推进跨学科、跨领域协同创新。数据驱动的科研模式能够发现新规律、创造新知识、发明新方法，推动科学研究方法不断进步。这种变革不仅加速了科学研究范式的转变，更为新质生产力发展注入强大动力。同时，新质生产力的发展为科技创新提供更广阔的应用场景和发展空间。二者相辅相成，协同共进。大赛积极助推科研范式变革，将进一步提升我国在全球科技竞争中的优势地位，推动科技与产业朝着更高水平更具创新性的方向稳步迈进。 科技创新赛道赛题体系完整有机，紧扣科学数据赋能科技及产业发展目标，从汇聚共享、大模型开发到科研创新驱动范式变革，助力培育和发展新质生产力。本次大赛为产学研用搭建展示创新能力的舞台，有望催生一系列具有重大价值的科研成果和产业应用，为国家科技自立自强和高质量发展贡献力量。 作者：周园春 中国科学院计算机网络信息中心副主任 来源（公众号）：北京数据

智能体时代已经到来，已然不是选择题，而是必答题。理解它、掌握它、善用它，将成为未来竞争力的重要组成部分。让我们以开放的心态拥抱这个充满可能性的新时代，在智能体的助力下创造更美好的未来。

来源（公众号）：大数据AI智能圈 如果每次学习新技能都要重新组装大脑，人类还能成为万物之灵吗？可这就是当前AI训练的常态——每遇到新任务就得或多或少的"回炉重造"——微调（Fine-Tuning）。 斯坦福大学最新提出的主动式上下文工程 Agentic Context Engineering（ACE）技术，正在挑战这一看似理所当然的做法，它让AI第一次拥有了类似人类的"经验积累"能力。 论文标题：Agentic Context Engineering: Evolving Contexts for Self-Improving Language Models 技术突破的边界与现实考量 传统微调就像装修房子时把承重墙都砸了重建，既费时费力又风险巨大。 ACE的思路则截然不同：与其动房子的结构，不如添置一套智能家居系统。 这套"智能系统"由三个核心组件构成——生成器（Generator）负责探索各种解决方案，反思器（Reflector）像资深导师一样总结经验教训，整编器（Curator）则将这些智慧结晶整理成可随时查阅的"经验手册"。 这种设计巧妙地避开了当前AI训练的最大痛点。 传统方法要么追求"言简意赅"导致关键信息丢失，要么陷入"信息过载"让模型无所适从。 ACE通过增量式更新机制找到了平衡点：每次遇到新问题，系统只在现有知识库上做局部调整，就像人类大脑形成新的神经连接，而不是把整个神经系统推倒重来。 更精妙的是"grow-and-refine"机制，它让知识库具备了类似生物体的自我调节能力。 系统会定期清理重复信息，保留最有价值的经验，确保知识库既不断丰富又保持精干。 这种设计着实体现了对智能本质的深刻理解——真正的智慧不在于拥有多少知识，而在于如何有效组织和运用这些知识。 在AppWorld基准测试中，ACE的表现堪称惊艳：无需任何标注数据，仅凭执行反馈就能让开源小模型性能提升17.1%，直接逼近顶级商用系统的水准。 这个数字背后隐藏着巨大的商业价值——它意味着企业可以用更小的模型、更低的成本获得接近顶级AI的能力。 金融分析领域的测试同样令人振奋。面对复杂的财报分析和数值推理任务，ACE通过构建专业化的"知识图谱"，平均性能提升8.6%。这种提升不是简单的参数优化，而是真正意义上的"专业素养"积累！ 尽管ACE展现出巨大潜力，但断言"微调已死"显然过于激进。 就像电动汽车不会立即淘汰燃油车一样，ACE和传统微调各有其适用场景。对于需要深度领域适配、数据量充足且对模型性能要求极高的场景，传统微调仍有其不可替代的价值。 ACE的真正突破在于开创了AI训练的新范式——它让"持续学习"从概念变成了现实。 传统微调好比一次性投资，投入大、周期长、风险高；ACE则像是建立了一个"经验银行"，可以持续存入新的智慧，随时提取使用。这种范式转变对于需要快速响应市场变化的企业而言，其价值远超技术本身。 从更宏观的角度看，ACE技术降低了AI应用的门槛。 当小模型通过精巧的架构设计就能获得接近大模型的能力时，AI技术将不再是科技巨头的专利，更多中小企业也能享受到人工智能的红利。 这种"民主化"趋势可能比技术突破本身更具深远意义。 结语 ACE技术的出现，标志着AI发展正在从"蛮力计算"向"精巧智能"转变趋势。 它告诉我们，真正的人工智能不一定要通过堆砌算力和数据来实现，关键在于如何让机器具备持续学习和经验积累的能力。这种转变不仅具有技术意义，更承载着深刻的商业价值和伦理考量。 未来，ACE能否杀死微调并不重要，重要的是它一可能会促使更多领域开花结果。 从智能客服到医疗诊断，从自动驾驶到创意设计，任何需要持续积累经验、不断优化决策的场景都可能受益于这种"经验手册"式的学习机制。当AI系统能够像人类专家一样在实践中不断打磨专业技能时，我们离真正的通用人工智能AGI或许就不远了。

在现代数据科学和机器学习的领域中，数据是开发预测模型和进行精确分析的基础资源。然而，真实的数据集并非总是可访问、完整或可用的。数据稀缺、固有偏见或隐私限制等问题常常导致获取高质量数据变得困难。这时，“合成数据”的概念应运而生：为了模拟真实数据的特征，同时保护隐私和灵活性而生成的人工数据。 本指南旨在概述生成可靠且实用的合成数据的技术。其中包括探索概率方法、传统机器学习(ML)技术以及大型语言模型(LLM)等高级模型的使用。本指南将提供具体的使用示例，以创建用于训练预测模型和其他分析的实用数据集，确保它们符合现实世界数据的典型约束和特征。 一 什么是合成数据 合成数据是人工生成的信息，模仿真实数据的特征。与直接从观察、实验或传感器收集的数据不同，合成数据是通过算法、数学模型或高级机器学习技术生成的。其主要目的是重现真实数据集中存在的统计结构和关系，即使它们是完全虚构的。 在许多应用领域，收集的数据可能不足以构建稳健的模型。这个问题在观测数据有限的专业领域或工业物联网 (IoT) 应用等新兴领域尤为明显。生成合成数据可以扩展这些数据集，同时保留其基本的统计和结构属性。 这些数据并非简单的匿名或修改过的现有数据副本，而是可以代表原始数据集中未必出现的假设情景或变量的新组合。例如，生成合成图像来训练视觉识别模型，或生成表格数据来模拟经济趋势。 1.合成数据的发展历程 创建合成数据的实践可以追溯到 20 世纪七八十年代，当时计算机模拟开始在科学和工程领域获得广泛关注。当时，蒙特卡罗采样等技术已经被用来基于数学分布生成数据。 21 世纪初，随着隐私保护意识的增强以及真实数据共享法律限制的不断增加，医疗、金融和公共服务等领域涌现出大量合成数据。近年来，机器学习的出现深刻地改变了这一格局。大型语言模型 (LLM) 等先进方法能够创建高度逼真、关系复杂细致的数据。 2.使用合成数据的优点和缺点 以下列出了一些可能让您考虑使用合成数据生成方法的原因。 （1）完全控制：由于数据是人工生成的，因此可以精确地建模其特征，例如分布、相关性和异常值。 （2）可扩展性：一旦设计了合成数据生成器，就可以创建任意大小的数据集，以满足特定的计算或分析需求。 （3）减少偏差：如果设计正确，合成数据可以避免现实世界数据中常见的固有偏差。这使得模型测试能够在更中性和可控的条件下进行。 （4）降低成本：生成合成数据通常比收集真实数据更便宜，特别是在需要复杂设备或大量资源进行获取的领域。 （5）保护隐私：真实数据通常包含敏感信息，这些信息一旦共享，就会面临隐私泄露的风险。由于这些数据并非与真实个人绑定，因此我们可以规避这一问题，同时仍保持分析效用。 （6）克服数据稀缺：收集足够的数据成本高昂或不切实际，例如用罕见疾病的图像训练计算机视觉模型。合成数据可以在不增加额外成本的情况下扩展数据集。 （7）促进实验和开发：合成数据为测试算法和模型提供了一个安全的环境，而不会存在暴露敏感数据或影响真实系统的风险。 （8）创建自定义场景：在某些应用中，需要模拟现实世界中难以观察到的极端事件或不太可能发生的场景。合成数据允许以可控的方式构建这些情况。 尽管合成数据具有诸多优点，但其使用也带来了一些挑战： （1）合成数据的有效性：合成数据集的质量取决于生成模型捕捉目标领域特征的能力。如果设计不当，合成数据可能会引入错误或扭曲的表征。 （2）法规的接受：在某些领域，合成数据的使用可能尚未被完全接受或监管，这可能会限制其在官方环境中的使用。 （3）维持复杂的关系：重现变量之间的复杂关系（例如在生物或金融系统中观察到的关系）可能特别困难。 （4）合成偏差：虽然合成数据可以减少真实数据中存在的偏差，但如果生成模型基于错误的假设，则存在引入人为偏差的风险。 因此，选择适当的技术并仔细验证结果以确保这些数据在特定应用环境中有用且可靠至关重要。 三 合成数据生成技术 使用概率技术生成合成数据是基于使用数学分布来模拟在真实数据集中观察到的变异性。这种方法允许您建模和创建遵循特定统计分布（例如正态分布、均匀分布或二项分布）的数据。这些方法尤其适用于： •在受控条件下测试算法。 •为真实数据有限或不可用的情况生成数据集。 •根据定义的概率模型模拟变量之间的关系。 1.基本分布 数学分布，例如正态分布（高斯分布）、均匀分布和泊松分布，是生成合成数据的基本工具。使用 NumPy 等 Python 库，您可以创建代表特定场景的模拟数据集。 示例：生成具有正态分布的数据集 import numpy as np import matplotlib.pyplot as plt # 生成正态分布数据 mu, sigma = 0, 1 # 平均值和标准差 data_normal = np.random.normal(mu, sigma, 1000) # 可视化 plt.hist(data_normal, bins=30, alpha=0.7, color='blue', edgecolor='black') plt.title('正态分布') plt.xlabel('值') plt.ylabel('频率') plt.show() 2.蒙特卡罗采样 蒙特卡洛采样是一种通过模拟更复杂的分布或由任意复杂函数定义的分布来生成数据的技术。当简单分布无法满足需求时，它是理想的选择。 示例：使用蒙特卡洛近似积分。 import numpy as np import matplotlib.pyplot as plt # 真实分布的参数（等待时间） real_mu = 10 # 平均值 real_sigma = 2 # 标准差 n_real_samples = 10000 # 真实数据数量（样本） # 真实数据生成（观测分布） real_data = np.random.normal(real_mu, real_sigma, n_real_samples) # 蒙特卡洛：用于近似真实分布的渐进样本 n_monte_carlo_samples = 500 # 蒙特卡洛样本的最大数量 monte_carlo_data = np.random.normal(real_mu, real_sigma, n_monte_carlo_samples) # 创建图表来比较真实分布和蒙特卡洛模拟 plt.figure(figsize=(12, 6)) # 真实分布 plt.hist(real_data, bins=30, alpha=0.5, color='blue', label='真实分布', density=True) # 蒙特卡洛分布 plt.hist(monte_carlo_data, bins=30, alpha=0.5, color='orange', label='蒙特卡洛', density=True) plt.title("真实分布与蒙特卡洛模拟的比较") plt.xlabel("等待时间（分钟）") plt.ylabel("密度") plt.legend() plt.grid(True) plt.show() 3.条件分布 条件分布允许你模拟变量之间存在相关性的数据集。这对于生成维持数据集维度之间有意义关系的合成数据至关重要。 示例：多元正态分布 mean = [0, 0] # X 和 Y 的平均值 covariance = [[1, 0.8], [0.8, 1]] # 协方差矩阵 data_multivariate = np.random.multivariate_normal(mean, covariance, 500) # 可视化 plt.scatter(data_multivariate[:, 0], data_multivariate[:, 1], alpha=0.6) plt.title('多元正态分布') plt.xlabel('X') plt.ylabel('Y') plt.axis('equal') plt.show() 基于统计分布的数据生成方法具有诸多优势。它们允许完全控制，能够定义特定参数，确保数据按照定义明确的统计模型生成。此外，它们还具有灵活性，能够轻松适应不同情况，例如需要单峰或多峰分布的情况。从操作角度来看，它们被证明特别高效，因为即使对于大型数据集，数据生成也快速且充分。 然而，它们也存在一些局限性。这些方法最适用于统计结构简单清晰的数据集，但在表示复杂或非线性关系方面效果较差。此外，为了获得有用的结果，必须深入了解分布及其参数，这要求使用方法的人具备一定的技术专业知识。 完整示例：具有特定关系的数据生成 让我们创建一个合成数据集，其中包含两个变量之间的噪声线性关系，例如身高和体重。 # 参数 np.random.seed(42) n_samples = 1000 slope = 2.5 # 线性关系的斜率 intercept = 50 # 截距 noise_level = 5 # 噪声水平 # 数据生成 heights = np.random.normal(170, 10, n_samples) # 正态分布的身高 weights = slope * heights + intercept + np.random.normal(0, noise_level, n_samples) # 可视化 plt.scatter(heights, weights, alpha=0.6) plt.title('综合线性关系 (身高 vs 体重)') plt.xlabel('身高 (cm)') plt.ylabel('体重 (kg)') plt.show() 4.使用传统机器学习方法生成数据 使用传统机器学习方法生成合成数据是一种广泛使用的技术，用于扩展现有数据集或创建新数据集，同时保持合理的结构和分布。与深度神经网络等高级方法不同，这些方法易于实现，并且可以直接控制生成数据的特征。 （1）高斯混合模型 高斯混合模型 (GMM) 是一种概率模型，它将数据集表示为多个高斯分布的组合。GMM 中的每个聚类都对应一个高斯分量。这种方法对于生成模拟多类数据集的数据特别有用。 示例：使用 GMM 根据样本数据生成合成数据集 import numpy as np import matplotlib.pyplot as plt from sklearn.mixture import GaussianMixture # 原始数据：两个主要聚类 np.random.seed(42) data_original = np.concatenate([ np.random.normal(loc=0, scale=1, size=(100, 2)), np.random.normal(loc=5, scale=1.5, size=(100, 2)) ]) # 创建 GMM 模型 gmm = GaussianMixture(n_components=2, random_state=42) gmm.fit(data_original) # 生成新的合成数据 data_sintetici = gmm.sample(200)[0] # 并排可视化 fig, axes = plt.subplots(1, 2, figsize=(12, 6), sharex=True, sharey=True) # 原始数据图 axes[0].scatter(data_original[:, 0], data_original[:, 1], alpha=0.6, label="Original Data") axes[0].legend() axes[0].set_title("Original Data") axes[0].grid(True) # 合成数据图 axes[1].scatter(data_sintetici[:, 0], data_sintetici[:, 1], color='r', alpha=0.6, label="Dati Sintetici") axes[1].legend() axes[1].set_title("Synthetic Data Generated with GMM") axes[1].grid(True) plt.tight_layout() plt.show() 这种方法的主要优点之一是能够直接控制聚类数量和方差，从而实现更有针对性和个性化的分析。此外，它对于具有多峰分布的数据特别有效，能够很好地近似其结构。 然而，该方法也存在一些局限性。该方法仅适用于能够用高斯分布建模的数据集，这限制了其应用范围。此外，它需要预先确定最佳组件数量，这在更复杂的环境中可能是一个挑战。 （2）生成决策树 生成决策树在变量之间建立条件关系。它们可用于生成遵循复杂模式的数据，例如逻辑约束或变量之间的依赖关系。 示例：根据条件规则生成合成数据集。 import numpy as np import matplotlib.pyplot as plt from sklearn.mixture import GaussianMixture from sklearn.tree import DecisionTreeClassifier import pandas as pd # 创建一个简单的数据集 np.random.seed(42) data_original = pd.DataFrame({ 'Feature1': np.random.choice([0, 1], size=100), 'Feature2': np.random.choice([0, 1], size=100), 'Label': np.random.choice([0, 1], size=100) }) # 构建决策树 X = data_original[['Feature1', 'Feature2']] y = data_original['Label'] tree = DecisionTreeClassifier(max_depth=3, random_state=42) tree.fit(X, y) # 生成新数据 syntetic_data = pd.DataFrame({ 'Feature1': np.random.choice([0, 1], size=100), 'Feature2': np.random.choice([0, 1], size=100) }) synthesized_data['Label'] = tree.predict(synthetic_data) print("生成的合成数据:\n", synthesized_data.head()) 这种方法的主要优点之一是其灵活性，甚至可以对复杂的规则进行建模。当您想要复制变量之间存在条件关系的数据集时，这种方法尤其有用，可以确保数据结构的一致性。 然而，该方法也存在一些局限性。它可能会导致原始数据过度拟合，从而降低其泛化能力。此外，它并非生成高变异性数据集的最佳解决方案，因为在高变异性数据集中，保持数据的代表性更加困难。 5.使用 LLM（大型语言模型）生成合成数据 大型语言模型 (LLM) 代表了生成合成数据的最先进技术之一。它们将自然语言理解和生成功能与深度学习的强大功能相结合，使其成为创建结构化、连贯且个性化数据集的理想工具。在本节中，我们将探索如何使用 LLM 生成合成数据，并通过实际示例和 Python 代码来演示其应用。 像 GPT 或 BERT 这样的 LLM 可以通过训练或调整来创建合成数据，这得益于它们具有以下能力： •理解背景：他们可以分析和生成具有复杂关系的数据，以适应特定的背景。 •个性化：它们提供生成符合用户定义的规则或模式的数据的能力。 •对非结构化数据的有效性：它们对于生成文本和表格数据特别强大。 示例：创建表格数据集 让我们考虑这样一种情况：我们想要为营销应用程序生成一个表格数据集，其中包含客户信息，例如年龄、城市和年收入。 步骤 1：定义提示 有效的提示能够引导大型语言模型 (LLM) 撰写连贯的数据。以下是示例提示： 生成一个包含 10 行 4 列的数据集：\n“ Job”（表示人员职业的字符串）、“ Age”（18 到 75 之间的整数）、“ Country”（表示国家名称的字符串） 和“Score”（0 到 100 之间的浮点数）。\n\n“ “Job | Age | Country | Score\n” “---------------------------------\n” “Teacher | 30 | USA | 88.5\n” “Engineer | 45 | UK | 92.3\n” “Nurse | 28 | Canada | 75.4\n” “Artist | 33 | France | 68.9\n” “Doctor | 50 | Germany | 85.1\n” 步骤2：使用Python生成数据 借助“transformers”之类的库，我们可以与预先训练的模型交互来生成数据集： from transformers import GPTNeoForCausalLM, GPT2Tokenizer import torch import re # 加载 tokenizer 和 hugging face 模型 model_name = "EleutherAI/gpt-neo-1.3B" tokenizer = GPT2Tokenizer.from_pretrained(model_name) tokenizer.pad_token = tokenizer.eos_token model = GPTNeoForCausalLM.from_pretrained(model_name) model.config.pad_token_id = tokenizer.eos_token_id device = torch.device("cuda" if torch.cuda.is_available() else "cpu") model.to(device) model.eval() prompt = ( "生成一个包含 10 行 4 列的数据集：\n" "Job（表示人员职业的字符串）、" "Age（18 到 75 之间的整数）、" "Country（表示国家名称的字符串）、" "and Score（浮点数）介于 0 和 100 之间）。\n\n" "工作 | 年龄 | 国家 | 年收入\n" "---------------------------------\n" "教师 | 30 | 美国 | 88.5\n" "工程师 | 45 | 英国 | 92.3\n" "护士 | 28 | 加拿大 | 75.4\n" "艺术家 | 33 | 法国 | 68.9\n" "医生 | 50 | 德国 | 85.1\n" ) # 对提示进行编码 inputs = tokenizer(prompt, return_tensors="pt", padding=True).to(device) input_ids = inputs['input_ids'] attention_mask = inputs['attention_mask'] # 生成文本 output = model.generate( input_ids=input_ids, attention_mask=attention_mask, max_length=input_ids.shape[1] + 200, num_return_sequences=1, no_repeat_ngram_size=2, do_sample=False, temperature=0.7, pad_token_id=tokenizer.eos_token_id ) # 解码输出 generated_text = tokenizer.decode(output[0], skip_special_tokens=True) print(generated_text) # 提取阅读模式 data_pattern = re.compile( r"([A-Za-z\s]+)\s*\|\s*(\d{1,2})\s*\|\s*([A-Za-z\s]+)\s*\|\s*(\d{1,3}\.\d+)" ) matches = data_pattern.findall(generated_text) print("\nExtracted Data:") for match in matches: print(f"Job: {match[0].strip()}, Age: {match[1]}, 国家: {match[2].strip()}, 收入: {match[3]}") 提取的数据： 工作：教师，年龄：30，国家：美国，收入：88.5 工作：工程师，年龄：45，国家：英国，收入：92.3 工作：护士，年龄：28，国家：加拿大，收入：75.4 工作：艺术家，年龄：33，国家：法国，收入：68.9 工作：医生，年龄：50，国家：德国，收入：85.1 工作：经理，年龄：25，国家：西班牙，收入：77.8 工作：销售员，年龄：35，国家：日本，收入：73.6 工作：司机，年龄：20，国家：澳大利亚，收入：71.2 工作：办事员，年龄：40，国家：印度，收入：70.7 工作：学生，年龄：24，国家：中国，收入：69.0 工作：面包师，年龄：22，国家：巴西，收入：66.75 工作：女佣，年龄： 23，国家：意大利，收入：65.25 职业：厨师，年龄：21，国家：希腊，收入：64.15 职业：家庭主妇，年龄：26，国家：土耳其，收入：63.85 职业：渔夫，年龄：29，国家：俄罗斯，收入：62.65 职业：搬运工，年龄：27，国家：南非，收入：61.45 职业：水手，年龄：32，国家：美国，收入：60.35 职业：士兵，年龄：31，国家：瑞典，收入：59.05 职业：警察，年龄：34，国家：荷兰，收入：58.95 职业：护理人员，年龄：36，国家：比利时，收入：57.55 职业：建筑工人，年龄：37，国家：丹麦，收入：56.40 职业：电工，年龄：38，国家：挪威，收入： 55.10 LLM（大型语言模型）拥有众多优势，使其成为用途极为广泛的工具。首先，它们具有极大的灵活性：能够生成结构化和非结构化数据，从而适应多种需求。此外，通过使用 API 和 Python 库，它们可以简化与工作流程的集成，从而实现快速有效的实施。 另一个积极的方面是定制的可能性：可以轻松修改提示以满足特定需求，从而使这些模型在目标环境中更有用。 然而，需要考虑一些限制和关键方面。例如，生成数据的质量很大程度上取决于所使用的公式和模型的设置。 另一个需要注意的因素是偏差的存在：由于模型是从训练数据中学习的，因此它们可能会重现数据中已经存在的偏差或扭曲。最后，成本也是一个重要因素，尤其是在生产环境中，大量使用LLM可能会导致巨额成本。 6.具有特定结构和关系的数据生成 生成具有特定结构和关系的合成数据是一项高级实践，需要运用技术在遵循复杂约束的同时创建人工数据集。这种方法对于模拟至关重要，因为合成数据必须代表真实场景或补充现有数据集，且不损害其完整性。 在许多情况下，生成具有明确结构的数据都非常有用。例如，在金融模拟中，生成遵循变量间特定相关性的时间序列非常重要。在物理学领域，创建遵循特定方程或自然法则的数据至关重要。然而，在生物信息学中，构建考虑特定研究背景中的生物或化学约束的数据集至关重要。 主要目标是创建不仅具有统计代表性而且符合其所指应用领域的规则和关系特征的合成数据。 （1）处理复杂的关系 示例：固定总和数据生成 一个常见的情况是生成遵守总和约束的变量，例如不同部门之间的预算分配。 import numpy as np import pandas as pd # 观察值和类别的数量 n_observations = 100 n_categories = 3 # 每个观察值的总和 total_sum = 100 # 生成随机数据 data = np.random.dirichlet(np.ones(n_categories), size=n_observations) * total_sum # 创建 DataFrame df = pd.DataFrame(data, columns=[f"Category_{i+1}" for i in range(n_categories)]) df["Total"] = df.sum(axis=1) print("使用固定和生成的数据集示例：") print(df.head()) >>> 使用固定和生成的数据集示例： Category_1 Category_2 Category_3 Total 0 58.673361 34.972747 6.353891 100.0 1 16.882673 14.145658 68.971669 100.0 2 71.446625 10.170256 18.383118 100.0 3 57.066341 37.334702 5.598957 100.0 4 15.686990 3.622839 80.690171 100.0 狄利克雷分布用于生成随机比例，每个比例代表总数的一部分。这些比例一旦计算出来，就会进行缩放，使其总和等于定义为 total_sum 的特定值。这样，该函数生成的数据就遵循了基本约束，即所有比例的总和恰好等于指定的目标值。 示例：具有预定义相关性的数据 另一个常见的需求是生成具有变量之间特定相关性的合成数据。 from scipy.stats import norm # 数据集的维度 n_samples = 1000 # 所需的相关矩阵 correlation_matrix = np.array([[1.0, 0.8, 0.5], [0.8, 1.0, 0.3],[0.5, 0.3, 1.0]]) # 创建相关数据 mean = [0, 0, 0] data = np.random.multivariate_normal(mean, correlation_matrix, size=n_samples) # 转换为 DataFrame df_corr = pd.DataFrame(data, columns=["Variable_1", "Variable_2", "Variable_3"]) print(df_corr.corr()) >>> Variable_1 Variable_2 Variable_3 Variable_1 1.000000 0.784861 0.490152 Variable_2 0.784861 1.000000 0.263210 变量_3 0.490152 0.263210 1.000000 multivariate_normal 函数允许您生成遵循多元分布的数据，尊重作为输入提供的相关矩阵建立的相关性。 （2）基于图的模型 基于图的模型对于模拟社交网络、交易或信息流很有用。 导入 networkx 作为 nx 导入 pandas 作为 pd 导入 matplotlib.pyplot 作为 plt # 创建因果图 n_nodes = 10 p_connection = 0.3 graph = nx.erdos_renyi_graph(n_nodes, p_connection) # 转换为 DataFrame edges = nx.to_pandas_edgelist(graph) print("连接列表（弧）：") print(edges) # 图形可视化 plt.figure(figsize=(8, 6)) nx.draw(graph, with_labels=True, node_color='lightblue', edge_color='gray', node_size=700, font_size=10) plt.title("因果图的表示") plt.show() 这一背景下的主要应用包括：一方面，社交网络的模拟，它可以分析和预测虚拟或现实社区中的互动动态和集体行为。另一方面，我们发现分布式系统中的数据流建模是理解、优化和管理复杂且互联的技术环境中信息传输的关键活动。 （3）时间序列的自回归模型 自回归时间序列用于模拟具有时间依赖性的数据。 导入 numpy 作为 np 导入 networkx 作为 nx 导入 pandas 作为 pd 导入 matplotlib.pyplot 作为 plt 从 statsmodels.tsa.arima_process 导入 ArmaProcess # 定义 AR 和 MA 参数 ar_params = np.array([1, -0.5]) ma_params = np.array([1, 0.4]) model = ArmaProcess(ar=ar_params, ma=ma_params) # 生成时间序列 n_points = 200 time_series = model.generate_sample(nsample=n_points) # 可视化 导入 matplotlib.pyplot 作为 plt plt.plot(time_series) plt.title("自回归时间序列") plt.show() 四 合成数据生成中的伦理考虑和限制 合成数据的生成提供了一种创新而灵活的解决方案，可以克服与真实数据的可用性、质量和保护相关的挑战，但它也引发了需要仔细评估的重大道德和操作问题。 一个问题涉及与真实数据过度相似的风险。如果合成数据过于忠实于原始来源，则可能会泄露个人敏感信息。此外，将这些数据与其他数据集相结合，有助于识别其中的关联性，从而促进重新识别。 另一个关键问题是原始数据中存在的偏差可能会被转移或放大。如果在生成过程中没有进行严格的控制，合成数据确实可能会使类别不平衡或属性永久化。此外，在创建过程中，可能会引入新的无意偏差，从而加剧问题。 合成数据的有效性和可用性是另一个挑战。为了发挥作用，数据必须遵循现实世界数据固有的关系和约束，例如求和或时间序列。如果缺少这些特征，合成数据可能无法使用。此外，基于合成数据训练的机器学习模型可能无法充分推广到现实世界。 从监管和道德角度来看，合成数据的生成必须符合数据保护法，例如欧洲的《通用数据保护条例》（GDPR）或美国的《消费者隐私法案》（CCPA）。这意味着对原始数据进行严格管理，并在流程的每个阶段都遵守法律要求。 五 小结 合成数据生成正逐渐成为数据科学和机器学习中的关键要素，尤其是在真实数据可用性受到隐私限制、偏见或缺乏代表性等因素限制的情况下。然而，其有效性取决于选择最合适的技术，并意识到其局限性和伦理影响。 在现有的技术中，概率技术被证明能够简单有效地表示线性分布，尽管它们在处理复杂数据时存在局限性。传统的机器学习方法在简单性和捕捉更复杂结构的能力之间取得了良好的平衡。高级语言模型（例如大型语言模型）以其灵活性而著称，能够生成高度真实且复杂的数据，非常适合模拟、表格分析和文本等应用场景。 为了最大限度地发挥合成数据的价值，至关重要的是要根据具体需求定制生成策略，持续监控所生成数据的质量，并将其与真实数据进行比较。此外，还需要整合控制措施以减轻偏见和隐私侵犯，并及时了解该领域的快速技术发展。 来源（公众号）：数据驱动智能