250617期DAMA数据管理研修班学员参加DAMA CDGA认证考试,祝大家顺利拿证!
我曾面对过这样的场面:某知名零售公司耗资巨大的CRM系统,精细描绘了用户画像轨迹,却陷入困惑——为何促销响应率反而下降?在层层追踪后终于发现,数据团队沉迷于用户浏览时间的精确统计,却忽略了核心问题:哪些浏览行为在价格敏感人群中最可能导向付款?数据细节华丽,却与决策核心毫无干系——这分明是数据在业务战场上的“裸奔”。 数据并非天然智慧。每比特信息自诞生就烙印着业务使命:服务于客户体验提升、成本精益化控制或是潜在风险规避。当数据从业务中剥离——无论它如何精妙或海量——便沦为一堆无意义的符号,如同博物馆中珍贵但蒙尘的孤本,不再具备生命的活力。某共享汽车巨头曾一度倾力打造功能豪华的数据中台,堆砌了大量行驶轨迹和车厢停留时长等指标,却忽略了最重要问题:究竟哪些关键业务指标决定着用户对“便捷舒适”服务的真实感知体验? 平台华丽但实用不足,成了业务决策者并不想翻阅的空中楼阁。 技术至上往往是迷失的开始。当技术愿景取代业务成果成为焦点,就滑入某种数字时代的虚无。制造业某车间曾豪情万丈铺设了数百枚高精度传感器,每毫秒都在产生海量运转状态数据。 然而数月后,当被问及这些数据到底助力解决了哪些业务瓶颈(如关键设备故障预判或产能优化瓶颈节点识别)?技术负责人无奈摇头:采集与存储已成执念,但为何分析、与业务痛点的连接始终无人规划推进?那些冰冷的字节无休止地在服务器中流淌,却浇灌不出业务价值的任何新苗。业务需求的指引,是决定数据资源聚焦何处、如何配置的指挥棒。 让数据创造价值,需要精准的“接地气”设计: 源头拷问,目标导向: 在启动任何数据采集或建模前,必须直面灵魂之问:我们要解决的业务核心挑战是什么?预期达成哪些具体可评估的结果?某国有银行在重构反欺诈系统时,没有一头扎进算法竞赛,而是首先联合风险业务部门深度剖析:欺诈攻击近期主要在哪类交易场景呈现新特征?期望新模型在精准拦截与减少误伤正常用户之间如何平衡?如此,海量交易数据的价值提炼方能有的放矢。 深度嵌套业务流:最富生命力的数据洞察,常常不是华丽仪表盘展示的,而是默默嵌入一线员工的日常决策系统里。 某大型快递企业,将基于全网时效预测与交通拥堵动态数据智能算法输出,直接优化快递员掌上配送终端的接单与实时路径规划建议。数据不再仅用于高层策略研讨,而是深度滋养业务前线的每一次决策。 业务技术共舞循环:让运营分析师、产品负责人与数据工程师坐在同一张决策桌上。 快速试点、快速验证、敏捷调优,是避免“闭门造车”的有效方法。某一线电商平台在策划新首页推荐算法时,组建了贯穿用户研究、营销、算法工程和数据产品经理的融合小队。两周为一个验证周期,将灰度测试获取的真实业务指标(点击转化率、深度浏览率)数据而非单纯的技术性能参数作为核心决策输入,让“业务价值”成为迭代优化进程中最响亮的指挥者。 对于众多资源相对受限的中小企业,无需盲目追求技术的豪奢配置。清晰界定当下或近期对业务最紧要的1-2个议题,据此针对性构建轻量而高性价比的数据能力支持闭环,往往能避开误区,直接触摸价值的精髓。 脱离业务的数据,恰似离水之鱼,无论它看似多么绚烂庞大。 将业务痛点数据化,让数据洞察业务化,方能赋予数据真正的生命动能,进而转化为决策的能量。我们不应继续堆砌无目的的华丽数据仓库,而应当清醒建造真正能驱动业务进化的价值引擎——让数据的每一次计算,最终都沉淀为可被感知的业务成果。 数据时代呼唤务实主义——让数据扎根于业务的真实土壤,每一份字节才能迎来真正的生命,真正服务于这个时代的深刻变革。 来源(公众号):AI数据推进器
文 | WG2数据治理标准工作组组长,清华四川能源互联网研究院大数据所所长 王晨根据国家数据局《数据领域常用名词解释(第一批)》的定义,数据治理是指提升数据的质量、安全、合规性,推动数据有效利用的过程,包含组织数据治理、行业数据治理、社会数据治理等。全国数据标准化技术委员会的WG2数据治理工作组(以下简称“WG2”)以提升政府、企事业单位等多主体的数据治理水平,进而加速全社会的数据资源有效利用为目标,逐步建立我国的数据治理标准体系,为数据政策措施落地与数据产业发展服务。 01 以标准化促进数据治理水平提升,保障数据的安全供给与流动 党的二十届三中全会通过的《中共中央关于进一步全面深化改革、推进中国式现代化的决定》指出:“加快建立数据产权归属认定、市场交易、权益分配、利益保护制度,提升数据安全治理监管能力”。《中共中央 国务院关于构建数据基础制度更好发挥数据要素作用的意见》中明确:“加快推进数据管理能力成熟度国家标准及数据要素管理规范贯彻执行工作,推动各部门各行业完善元数据管理、数据脱敏、数据质量、价值评估等标准体系”。对于标准化工作支撑数据产权与数据市场的基础制度落地,提升各部门各企业数据治理水平以及安全治理能力提出了明确的要求。 1. 有效支撑数据产权与市场基础制度落地 数据产权制度是推进数据作为生产要素基础保障,在制度推出的过程中需要一系列的标准规范确保全国统一数据市场的有效构建,需要统一数据产权的登记、变更、撤销等流程和登记所需提供的信息,规范化登记审查的内容和要点,制定数据产权登记平台的通用技术要求等等,有力保障一地登记各地互认的全国一盘棋。 数据产品和服务是各主体间完成数据资源共享、交换、交易的流通载体,是一种既区别于现有虚拟商品又不同于实体商品的新形态,一方面需要通过清晰产品定位、描述信息、宣传用语等促进数据产品的供需双方高效对接,另一方面也要对产品质量的评价等问题形成统一认识,因此有必要规范数据产品的描述、质量评价等一系列标准。 数据市场的构建涉及价格机制、收益分配机制、第三方服务等生态建设诸多方面,为了保障数据市场体系建设的有序推进,在充分尊重市场主体意愿和活力的前提下,有必要对数据市场这一新生事物的定价方法、成本估算方法、收益分配机制设计等进行规范引导,创新以数换数、以业务换数、联合开发等多种交易流通方式。此外,对于数据市场中面向上架产品、交流流程、平台自身安全性的合规流程以及审计方法等细化要求,也需要以标准化工作有效支撑相关文件的落地。 2. 提升数据治理能力激发高质量数据供给 在数据治理的标准化工作中,需要做好与数据管理能力成熟度等现有国家标准的衔接以及贯标验证工作,从过程中总结成绩和不足。在WG2的标准研制过程中,通过高质量数据治理标准制定,将从以下三个方面带动各主体的高质量数据供给。 首先,做好场景和业务驱动的数据规划与管理能力建设相关标准。由国家数据局等17部门联合印发《“数据要素×”三年行动计划(2024—2026年)》强调:“通过强化场景需求牵引,带动数据要素高质量供给、合规高效流通”。但我国大量的数据治理实践则重事后治理而轻事前规划,导致数据治理活动和系统建设多围绕如何推倒“烟囱”重建而展开。通过针对场景和业务驱动的数据规划与管理能力建设方法发布指南型导引,有助于各主体更加体系化地规划建设自身的数据资源体系,提升数据供给质量。 其次,进一步面向数据流通场景做好数据规范性与数据质量相关标准建设。相较于面向企业或部门内部的数据治理,将重点放在提升元数据规范性和数据自身的完整性、一致性、及时性等方面,面向流通的数据治理着重规范数据产品元数据的可理解性、数据产品描述的准确性、数据产品的需求匹配性等方面,从而有力保障高质量数据的流通。 最后,人工智能应用是数据要素价值落地的重要场景,要加快推进面向高质量的行业数据集的数据治理标准建设。针对结构化数据,建立数据集的业务元数据规范,解决人工智能应用无法理解数据与场景的对应关系、数据内在的语义、数据之间的逻辑关系等问题。针对非结构化数据,由于缺少相应的指引与规范,面向人工智能的数据准备与数据预处理,不仅占据了用户大量的时间,同时也直接影响到模型的效果,因此非结构化数据治理相关标准的建设将有助于夯实人工智能的数据基础。 3. 完善安全治理体系促进多主体数据流通 数据安全治理是确保数据在流通过程中安全、合规、高效的关键环节。在WG2的标准研制过程中,将以《关于完善数据流通安全治理 更好促进数据要素市场化价值化的实施方案》为依据和指导,着力完善我国数据流通安全治理基础制度,支撑安全治理体系的构建,保障多主体间的数据流通。 辅助数据流通“事前”的安全治理制度设计。标准的研制将紧密配合相关政策的出台,明确企业在数据流通中的责任和义务,细化对个人数据的匿名化处理要求和效果评估,规范重要数据脱敏的要求,让各主体在完成必要的安全治理活动后,数据可以放心流通。制定面向流通交易数据安全风险评估指引,引导各主体对数据流通中的安全事件、发生点位、应对措施等做出规划。为数据流通“事中”的关键技术提供支撑和规范。针对在流通过程中数据发生泄漏或者数据权益受损的风险,规范跨主体数据使用行为存证要求,明确数据流通利用基础设施的安全审计要求,针对“原始数据不出域、数据可用不可见、数据可控可计量”等数据价值开发范式进行归纳总结,形成开发指引,减轻各流通参与主体对流通过程中的数据安全风险顾虑。 保障数据流通的“事后”安全。数据具有可复制、易传输、难追溯等特点,一旦发生数据泄露,所有相关主体都可能面临追责风险。制定相应的标准和规范,促进数据水印、数据指纹、区块链等技术手段的融合应用,支撑数据流通的取证和追责。 02 以组织、开放、协调的原则有序推进标准研制 首先,做好整体规划,以“做有用的标准”为工作组的前提和核心。WG2的标准制定工作将“以用为先、急用先行”为原则,紧密结合政策落地、行业需求和技术发展趋势,避免脱离实际或重复研制。通过科学规划,明确标准的优先级和适用范围,确保标准能够切实解决实际问题,推动行业技术进步和规范化发展。同时,标准研制兼顾可操作性和前瞻性,既要满足当前需求,也要为未来发展预留空间。 其次,充分激发成员单位的热情,提升工作组标准研制的动力。标准制定是一项集体性工作,需要广泛吸纳各方的智慧和经验。通过建立激励机制,充分调动成员单位的积极性和创造性,鼓励各成员单位主动参与标准研制。同时以WG2为平台,通过设计若干研究小组,促进成员单位之间的沟通与合作,形成合力,共同推动标准研制工作的高效开展。 最后,加强协调,确保标准研制工作顺利推进。在标准研制过程中,与地方数标委、行业标准化组织的相关工作组、有影响力的团体标准制定机构加强协调与衔接,充分吸纳有益的做法以及标准验证反馈意见。通过建立有效的协调机制,确保不同标准之间的兼容性和一致性,推动多标准之间的体系化有机融合,以高质量的标准支撑和助力产业的发展。 来源(公众号):北京数据
顺利开幕 今日,龙石数据组织的"DAMA数据管理体系研修班"在苏成功举办。本次研修班旨在赋能客户和伙伴构建符合国际规范的数据治理能力,通过权威解读国际数据管理标准体系,深度剖析DMBOK2.0知识框架;聚焦业务场景,开展数据治理沙盘推练和行业场景模拟实训,助力客户全面提升数据管理水平。 1 正式开班前,龙石数据创始人兼总经理练海荣发表开班致辞。练总首先对与会嘉宾表示热烈欢迎,强调本次培训会提供高质量学习、交流和实践的平台,最后他预祝本次培训圆满结课,希望所有参会者学有所获。 龙石数据创始人兼总经理练海荣 培训第一天,国际数据管理协会(DAMA)中国区主席汪广盛为学员系统讲授了数据管理知识体系的核心框架。课程从数字化转型背景切入,深入解析了数据治理的发展历程及行业实践价值,帮助学员建立起对DAMA知识体系的整体认知。 国际数据管理协会(DAMA)中国区主席汪广盛 汪主席重点讲解了数据伦理的核心准则与法规要求,通过典型案例阐明了数据所有权与经济价值的关系。在数据治理模块,他对比了DAMA框架与国内实践的异同,并详细剖析了跨领域行业的数据治理组织架构与成功要素。 针对数据架构与模型设计,课程系统介绍了企业级数据蓝图规划方法,以及概念模型、逻辑模型、物理模型的层级关系,结合行业实践进行演示。通过对数据仓库、商业智能、数据湖与数据中台的对比分析,帮助学员理解不同数据应用体系的特点与适用场景。 在本次活动中,我们也安排了所有参训人员实地参观了苏州国际数据港跨境数据交易展厅,深入了解了苏州在数据要素流通与国际合作领域的创新成果。 在接下来的6天里,学员们将经历从理论认知到能力转化的完整学习闭环。一方面跟随专家继续系统学习DAMA数据管理知识体系的核心内容;另一方面由龙石的数据管理专家带领开展行业沙盘推演、治理工具实操等多元化实训课程。我们相信,通过资深专家的指导、互动研讨的思维碰撞,每位学员都能建立起完整的数据治理认知框架,掌握可落地的实践方法论。 今日,正式开课!让我们共同期待更精彩的研修之旅!
数据治理成功与否,核心检验标准只有一个:这个动作是增加还是减少了组织对数据的信任?增加则为正确方向,减少则需重新审视,无论表面看起来多么先进合理。
龙石数据即将在苏举办DAMA数据管理体系研修班,旨在赋能客户和伙伴,敬请期待!
数字时代,数据爆炸式增长下,传统治理难敌孤岛割裂、标准混乱、合规风险。元数据驱动治理体系是破解困局的核心引擎,它以数据血缘为脉络、语义统一为根基、智能管控为支撑,让数据资产可管可控可用,是企业应对数字化挑战、释放数据生产力的必由之路。 实施准备与规划 实施元数据驱动的治理体系需要充分的准备和规划,以确保实施的成功和效果。实施准备与规划主要包括以下几个步骤: 明确实施目标:明确实施元数据驱动的治理体系的目标,如提高数据的可发现性、支持数据分析与决策、确保数据质量与安全性、促进数据交换与互操作性等。 评估现状:评估组织当前的数据治理现状,包括数据源、数据量、数据质量、数据安全等方面的情况,以及现有的数据治理工具和流程。 确定范围:确定元数据驱动的治理体系的实施范围,如数据源的范围、元数据的类型、元数据管理的流程等。 制定计划:制定详细的实施计划,包括实施步骤、时间表、资源需求、责任分配等。 建立组织结构:建立元数据治理的组织结构,明确各方的责任和角色,如决策层、管理层、执行层等。 数据治理建设初期,集团会先成立数据治理管理委员会。从上至下由决策层、管理层、执行层构成。决策层决策、管理层制定方案、执行层实施。这种组织结构为元数据驱动的治理体系的实施提供了组织保障。 元数据管理计划的制定 元数据管理计划是元数据驱动的治理体系实施的重要依据,它明确了元数据管理的相关事项和流程。元数据管理计划的制定主要包括以下几个方面: 明确相关参与方:明确元数据管理的相关参与方,如数据所有者、数据管理者、数据用户等,以及他们的责任和角色。 收集元数据管理需求:收集各相关方的元数据管理需求,如数据发现、数据理解、数据质量、数据安全等方面的需求。 确定元数据类型、范围、属性:确定需要管理的元数据类型、范围和属性,如技术元数据、业务元数据、操作元数据等。 设计元数据架构:设计元数据管理架构,包括元数据目录、元数据采集、元数据存储、元数据处理、元数据服务等组件。 技术元数据与数据模型、主数据、数据开发的关联:设计技术元数据与数据模型、主数据、数据开发的关联,确保元数据的一致性和完整性。 元数据管理计划明确元数据管理相关参与方,收集元数据管理需求;确定元数据类型、范围、属性,设计元数据架构,技术元数据与数据模型、主数据、数据开发保持一致。通过元数据管理计划,可以确保元数据管理的一致性和有效性。 元数据采集与存储 元数据采集与存储是元数据驱动的治理体系实施的重要环节,它涉及到如何从各种数据源中采集元数据,并将其存储在集中式的元数据存储库中。元数据采集与存储的实施主要包括以下几个步骤: 确定数据源:确定需要采集元数据的数据源,如数据库、数据仓库、大数据平台等。 设计元模型:设计元模型,定义元数据的结构和内容,如元数据的字段、属性、关系等。 实现元数据采集:实现元数据采集,可以采用自动采集、半自动采集和手动采集等方式。在元数据管理三层管理架构的支持下,通常只需要做元模型定义和元数据采集,就对不同元数据进行管理。 实现元数据存储:实现元数据存储,选择合适的存储技术,如关系型数据库、NoSQL数据库、搜索引擎等,并设计存储结构和访问接口。 元数据采集和管理变得尤为重要,它是数据资产治理的核心底座。通过有效的元数据采集和存储,可以为元数据驱动的治理体系提供坚实的基础。 元数据质量管理 元数据质量管理是元数据驱动的治理体系实施的重要环节,它涉及到如何确保元数据的质量和可靠性。元数据质量管理的实施主要包括以下几个步骤: 定义质量标准:定义元数据的质量标准,如准确性、完整性、一致性、及时性和有效性等。设计质量规则:设计元数据质量规则,定义如何检查和评估元数据的质量。 实现质量检查:实现元数据质量检查,定期或实时检查元数据的质量,并生成质量报告。 实施质量改进:实施元数据质量改进,针对发现的质量问题,采取相应的改进措施,提高元数据的质量。 元数据质量管理是元数据驱动的治理体系的重要组成部分,它确保了元数据的可靠性和可用性,为数据治理提供了坚实的基础。 元数据安全管理 元数据安全管理是元数据驱动的治理体系实施的重要环节,它涉及到如何确保元数据的安全性和隐私性。元数据安全管理的实施主要包括以下几个步骤: 定义安全策略:定义元数据的安全策略,如访问控制策略、加密策略、审计策略等。设计安全模型:设计元数据的安全模型,定义用户、角色、权限等安全元素,以及它们之间的关系。 实现安全控制:实现元数据安全控制,如身份认证、访问控制、数据加密、安全审计等,确保元数据的安全存储和合法使用。实施安全监控:实施元数据安全监控,实时监控元数据的安全状态,发现和处理安全事件。 元数据安全管理是元数据驱动的治理体系的重要组成部分,它确保了元数据的安全性和隐私性,为数据治理提供了安全保障。 元数据服务与应用元数据服务与应用是元数据驱动的治理体系实施的重要环节,它涉及到如何为用户提供元数据服务,并支持各种数据治理应用。元数据服务与应用的实施主要包括以下几个步骤:设计服务接口:设计元数据服务接口,定义用户如何访问和使用元数据,如API接口、Web界面等。 实现服务功能:实现元数据服务功能,如元数据查询、元数据分析、元数据报告等,满足用户的各种需求。支持数据治理应用:支持各种数据治理应用,如数据发现、数据理解、数据质量评估、数据安全评估等,为数据治理提供支持。元数据服务与应用是元数据驱动的治理体系的最终目标,它通过提供元数据服务,支持各种数据治理应用,实现数据的价值和效益。 来源(公众号):数据治理体系
数据模型究竟如何设计才能既满足业务需求又保证技术实现的可行性?今天,我想带你走进数据仓库建模的世界,揭秘那些让数据真正发挥价值的建模方法。
随着数据经济的发展,数据确权成为数据资产化的基础环节之一。数据确权不仅关乎数据的归属和权益保护,更是推动数据流通、交易和价值实现的关键。本文将简明扼要地解析数据确权的概念、依据、路径、确权机构及其重要性。 01数据确权的概念 数据确权是指通过法律和技术手段,明确数据的所有权、使用权、收益权等权利归属的过程。这一过程确保数据拥有明确的权利归属,从而赋予数据经济价值。通过确权,数据可以作为一种无形资产进行交易、使用和管理,促进数字经济的健康发展。 确权涉及到多重权利,包括所有权(谁拥有数据)、使用权(谁有权使用数据)和收益权(谁可以从数据中获利)。这些权利的明确有助于保护数据持有者的合法权益,避免数据滥用、侵权或争议。 02数据确权的依据 数据确权需要遵循相应的法律法规和政策依据,以确保确权的合法性和有效性。主要依据包括: 国家法律法规:各国逐渐出台关于数据权属、隐私保护和数据安全的法律法规。例如,欧盟的《通用数据保护条例》(GDPR)为数据确权提供了法律框架,强调用户对其个人数据的控制权。 行业标准和政策文件:各行业根据自身特点,制定了相关的数据确权指南或标准,确保数据权属在特定行业内得到有效确立。 技术协议和合同:通过数据处理协议或合同明确数据所有权和使用权,尤其是在多方合作或跨境数据流动的情况下,合同约定成为确权的主要依据之一。 03数据确权的4个关键路径 数据的识别与分类:首先需要明确哪些数据具有确权价值,通常包括个人数据、业务数据、传感数据等类型。数据的分类有助于明确确权的具体方向和重点。 权利的确认与分配:在多方参与的数据流动中,需要确定数据所有权、使用权和收益权的归属。例如,数据生成者是否拥有所有权,还是数据平台拥有使用权。 法律与技术保障:通过法律手段或技术工具,确保数据确权过程的安全性和合规性。加密技术、区块链等新兴技术可以增强数据确权的透明性和不可篡改性。 确权的审计与记录:在完成数据确权后,相关数据和权利信息需要登记并记录在案,以备后续的交易、审计或使用。 04数据确权的机构 数据确权的机构主要包括政府监管机构、行业协会和第三方数据服务机构。 政府监管机构:作为数据确权的主要监督者,政府通过立法和监管,确保数据确权的合法性和公平性。例如,国家数据管理机构负责对数据确权过程进行规范和监督。 行业协会:一些行业自律组织或协会会根据行业特点,制定数据确权标准和指南,确保行业内部的数据流通和确权顺畅。 第三方数据服务机构:提供专业的数据确权服务,包括数据估值、数据登记、数据资产管理等。通过专业的技术和法律支持,确保数据确权过程的透明性和安全性。 05数据确权的重要性 保护数据权利,避免争议 数据确权可以明确数据的归属,避免数据在使用和交易过程中出现争议或权利冲突。对于个人数据,确权可以确保个人对其数据的控制权,避免数据被滥用或侵犯隐私。 促进数据交易与流通 只有确权后的数据才能合法交易,推动数据在市场中的流通。数据确权为数据流通提供了基础,保证了数据交易过程中的合法性和透明度。 赋能数据资产化与经济价值 数据确权为数据资产化奠定了基础,使数据能够成为企业的重要无形资产。通过确权,企业可以更有效地管理和利用数据,提升其在数字经济中的竞争力。 确保数据合规性与安全性 在数据流动日益频繁的背景下,数据确权确保了数据的合法性和合规性。通过确权,企业可以避免因数据使用不当引发的法律风险,确保数据安全和隐私保护。 06结语 数据确权是数字经济时代的重要议题,其概念清晰、依据充足、路径明确,并由政府、行业协会和第三方机构共同推进。数据确权不仅保护了数据权利,促进了数据流通,还为数据资产化提供了保障。随着技术进步和法律完善,数据确权将在未来的数字经济发展中扮演越来越重要的角色。 来源(公众号):AI战略数字转型
三种智能体,三种【人格】,没有高低之分,只有适用性差异。如果你的需求是信息查询、客户咨询、内容创作,聊天助手就够了。它简单、便宜、见效快。如果你的需求是流程自动化、批量处理、标准化作业,工作流是最佳选择。它稳定、高效、可控性强。如果你的需求是复杂决策、个性化服务、深度交互,对话流才是正解。它智能、灵活、体验好。选择智能体,就像选择员工。你需要什么样的"人",就选什么样的"AI"。毕竟,最好的AI,不是功能最强的,而是最适合你的。