在当今信息化社会,数据已成为新的生产要素,其价值日益凸显。为了高效、安全地利用数据资源,业界不断探索和创新,催生了多种新型的数据流通和利用模式。其中,数场、可信数据空间、数联网、数据元件、区块链与隐私保护计算等概念正引领着数据流通和利用的新趋势。本文将详细解读这些概念,并探讨其现状及未来趋势。 一、数场 数场(Data Field)是依托开放性网络及算力和隐私保护计算、区块链等各类关联功能设施,面向数据要素提供线上线下资源登记、供需匹配、交易流通、开发利用、存证溯源等功能的一种综合性数据流通利用设施。 现状:数场可以应用于多个领域,如政务、金融、医疗、教育等。通过数场,不同主体可以便捷地获取所需数据资源,实现数据的共享和利用。例如,在政务领域,政府可以通过数场实现政务数据的开放和共享,提高政府服务效率和透明度。 未来趋势:随着数据要素市场的不断发展和完善,数场将扮演更加重要的角色。未来,数场将更加注重数据的标准化、安全性和隐私保护,为数据的高效流通和利用提供更加坚实的保障。 二、可信数据空间 可信数据空间(Trusted Data Spaces)是一类全新的数据流通利用基础设施,同时也是一个生态系统的概念。它以数据使用控制为核心,通过连接器等技术载体,实现数据的可信交付,保障数据流通中的“可用不可见”“可控可计量”目标。 现状:可信数据空间的应用场景广泛,包括企业、行业、城市、个人及跨境等类型。例如,国家数据局发布的《可信数据空间发展行动计划(2024—2028年)》提出,要培育推广不同层次的可信数据空间建设。温州已成功获批数据空间等6个国家数据基础设施建设试点,通过隐私计算、AI模型、云网融合等技术手段,为数据安全、合规、有序流通利用提供新的方案。 未来趋势:随着技术的不断进步和应用场景的不断拓展,可信数据空间将成为数据要素市场的重要载体。未来,可信数据空间将更加注重数据的互联互通和共享利用,推动数据要素市场的繁荣和发展。 三、数联网 数联网关注的重点在于数据如何定位、如何流通。它基于互联网发明人、图灵奖获得者罗伯特·卡恩博士发明的数字对象架构(DOA),实现数据的唯一标识、元数据管理和数字对象仓库等功能。 现状:数联网的概念和技术体系正在不断完善和成熟。目前,数联网已经在数字图书馆等领域取得了全球性的规模化应用,为数据的共享和利用提供了有力的支持。 未来趋势:随着数据要素市场的不断发展和完善,数联网将成为连接不同数据空间和数据要素的重要桥梁。未来,数联网将更加注重数据的标准化、安全性和隐私保护,为数据的高效流通和利用提供更加便捷和可靠的途径。 四、数据元件 数据元件(Data Component)是通过对数据脱敏处理后,根据需要由若干相关字段形成的数据集或由数据的关联字段通过建模形成的数据特征。 现状:数据元件的概念由中国电子陆志鹏提出,已经成为数据要素市场流通交易的新形态。通过数据元件,不同领域的数据可以实现标准化和规模化加工,提高数据的利用效率和价值。 未来趋势:随着数据要素市场的不断发展和完善,数据元件将成为数据要素市场的重要组成部分。未来,数据元件将更加注重数据的标准化、安全性和隐私保护,为数据的高效流通和利用提供更加可靠的支持。 五、区块链 区块链(Blockchain)作为一种去中心化的数据记录技术,具有高度的安全性和透明性。它通过分布式账本技术,实现数据的不可篡改和可追溯。 现状:区块链技术已经在金融、供应链、医疗、能源、公共管理等多个领域得到了广泛应用。例如,在供应链管理中,区块链可以用来记录和追踪货物的生产、运输和销售过程。 未来趋势:随着技术的不断进步和应用场景的不断拓展,区块链将成为数据要素市场的重要支撑技术。未来,区块链将更加注重与其他技术的融合和创新,为数据的高效流通和利用提供更加安全、可靠和便捷的支持。 六、隐私保护计算 隐私保护计算是面向隐私信息全生命周期保护的计算理论和方法,涵盖信息搜集者、发布者和使用者在信息产生、感知、发布、传播、存储、处理、使用、销毁等全生命周期过程的所有计算操作。 现状:隐私保护计算技术已经在金融、医疗、教育等多个领域得到了广泛应用。例如,在医疗领域,隐私保护计算技术可以用于安全存储病人数据,确保数据隐私和安全。 未来趋势:随着数据要素市场的不断发展和完善,隐私保护计算将成为数据要素市场的重要保障技术。未来,隐私保护计算将更加注重技术的创新和应用场景的拓展,为数据的高效流通和利用提供更加全面的隐私保护支持。综上所述,数场、可信数据空间、数联网、数据元件、区块链与隐私保护计算等概念正引领着数据流通和利用的新趋势。随着技术的不断进步和应用场景的不断拓展,这些概念和技术将为数据要素市场的繁荣和发展提供更加坚实的支撑和推动力量。 来源(公众号):AI战略数字转型
2025-02-14 10:27 1
文 | 中国电子技术标准化研究院党委书记 刘贤刚 近日国家发展改革委、国家数据局等部门联合印发《关于完善数据流通安全治理 更好促进数据要素市场化价值化的实施方案》(以下简称《方案》),为充分释放数据价值提供了重要制度保障。 01 深刻领会《方案》对更好发挥数据要素作用的重要意义 党中央、国务院高度重视发挥数据要素价值。习近平总书记多次强调,要发挥数据的基础资源作用和创新引擎作用,加快形成以创新为主要引领和支撑的数字经济。 (一)《方案》是落实党中央重要决策部署的关键举措 党的二十届三中全会提出“加快建立数据产权归属认定、市场交易、权益分配、利益保护制度,提升数据安全治理监管能力,建立高效便利安全的数据跨境流动机制”等保障数据要素安全流通的重点任务。《方案》明确提出全面贯彻总体国家安全观,统筹数据发展和安全,坚持系统思维、底线思维,将安全贯穿数据供给、流通、使用全过程,为数据流通安全治理提供了工作原则和目标。 (二)《方案》是应对数据流通利用风险的迫切需求 以数据为关键要素的数字经济具有高创新性、广覆盖性、强渗透性,数据大规模流通过程就是多源、多方数据融合过程,一旦被泄露或滥用,可能带来个人隐私、商业秘密等数据泄露问题,甚至可能对国家安全带来挑战。《方案》就如何以成本最小化实现安全最优化,提出了落实国家数据分类分级保护制度、数据流通中的安全治理规则、加强数据流通安全技术应用和产业培育、完善权益保护和责任界定机制等具体举措。 (三)《方案》是促进数据高效流通利用的重要保障 数据相比传统生产要素,流动起来更为便捷,跨地域、跨国界流动的特点也更加明显;但由于其数据的易复制性、易获取性,在数据流通方面,“不敢”“不愿”“不会”的问题比较突出,数据要素价值未得到充分释放。数据安全可信流通才能实现数据高效利用,《方案》为数据“供得出、流得动、用得好”探索提出了安全制度方案,对数据资源安全开发利用具有里程碑意义。 02《方案》对数据流通安全治理提出了明确的工作任务 数据流通安全治理规则是数据基础制度的重要内容。《方案》以“到2027年底,规则明晰、产业繁荣、多方协同的数据流通安全治理体系基本构建,数据合规高效流通机制更加完善,治理效能显著提升”为目标,提出了责任义务、安全要求等体系化任务部署。 (一)以数据分类分级为前提,让安全的数据流通 数据分类分级是推进数据管理,开展数据流通利用的前提和基础,目的是实现分类管理、分级保护、突出重点、保住重点。《方案》提出经脱敏等技术处理为一般数据的,可按照一般数据开展流通交易;对于不涉及风险问题的一般数据,鼓励自行采取必要安全措施进行流通利用。目的在于解决一般数据不敢流通的问题,充分释放相对安全的一般数据流通活力。 (二)以数据安全能力为基础,让数据安全的流通 安全的数据基础设施、清晰的界定权责是让数据安全动起来的关键。《方案》提出了支持数据流通安全技术创新、数据供需双方接入使用数据流通利用基础设施、加强关联风险识别管控等具体要求,明确了数据提供方、数据接收方、数据授权运营机构的责任义务。为解决数据流通环节多、场景多、主体多带来的数据泄露、权责不清等问题,提供了制度和技术方案,构建了安全可靠、监管有效的数据流通信任基础。 (三)以个人数据流通保障为重点,让个人数据发挥更大价值 个人数据是我国海量数据规模中的重要组成部分,在数据要素市场中有着不可替代的作用。《方案》立足于个人数据流通场景存在的授权同意难、个人信息泄露等突出问题,提出了研制个人信息匿名化标准、采用国家网络身份认证公共服务、健全个人信息保护投诉、举报、受理、处置渠道等举措,在个人数据安全流通的过程中,将个人数据权益实现好、维护好、发展好。 (四)以自由贸易试验区为试点,对新型治理模式先行先试 自由贸易试验区承担着国家战略性的创新试点任务,北京、天津、上海、广东等地自由贸易试验区,在数据分类分级、数据出境管理清单等数据制度进行落地探索。《方案》提出围绕数据流通交易溯源机制、重点场景安全治理标准、重点场景安全责任界定机制等,支持在自由贸易试验区(港)等地方开展先行先试,探索新型治理模式,提高治理效能。 03 充分发挥好数据标准对《方案》落地实施的支撑作用 《方案》多处对数据标准提出了具体要求和明确任务,在《方案》落地过程中,进一步发挥好数据标准的规范性和引领性作用,做好数据标准体系研究、重点标准研制、标准应用实施等工作。 (一)做好数据标准体系建设 《方案》提出“完善数据流通安全标准”。前不久,《国家数据标准体系建设指南》正式印发,提出了数据标准体系建设及落实落地的目标要求,同时设置“安全保障”专章,对数据基础设施安全、数据要素市场安全、数据流通安全等流通安全治理方面提出了明确标准任务。需要不断深化重点方向标准化研究,不断细化完善数据标准体系框架,为数据高效安全流通利用筑牢标准根基。 (二)加快重点急需标准研制 《方案》提出“制定个人信息匿名化相关标准规范,明确匿名化操作规范、技术指标和流通环境要求”“重点场景安全治理标准”。标准研制应坚持问题导向、急用先行,紧扣国家关于数据要素流通等重大战略部署,围绕《方案》要求,抓紧研制个人信息匿名化、数据交易服务安全、数据流通安全能力等重点标准,提升数据标准对数据安全治理监管能力建设的支撑保障作用。 (三)深入开展标准应用实施 《方案》提出数据分类分级和重要数据识别、提升企业数据安全治理能力、重点行业领域数据安全风险监测等重点任务,这些任务落地都需要标准提供技术支撑。继续深入推进《数据安全技术 数据分类分级规则》《信息安全技术 数据安全能力成熟度模型》《数据安全技术 数据安全风险评估方法》等标准的应用实施,强化各方的数据安全标准化意识,提升组织安全能力,推广优秀标准实践案例,为业界提供标准实现参考。 来源(公众号):北京数据
2025-02-13 10:00 13
文 | 中国政法大学副校长、教授,数据法治实验室主任 时建中 数据流通安全治理规则是数据基础制度的重要内容,是实现高质量数据更大范围、更高效率、更加有序流通的前提,是充分释放数据价值的制度条件,是推动建设高水平数据市场的保障。国家数据局会同有关部门制定发布的《关于完善数据流通安全治理 更好促进数据要素市场化价值化的实施方案》(以下简称《方案》)全面贯彻总体国家安全观,统筹发展和安全,对于建立健全数据流通安全治理机制、提升数据安全治理能力、促进数据要素合规高效流通利用具有重要意义。《方案》坚持系统思维、底线思维,凸显了战略思维、法治思维,立足“安全”、落脚“发展”,明确了七项主要任务,以成本最小化实现安全最优化,推动数据高质量发展和高水平安全良性互动,加速构建繁荣且有序的数据市场,为充分释放数据价值、不断做强做优做大我国数字经济、构筑国家竞争新优势提供坚实支撑。 01 明晰数据流通安全规则,营造有序数据流通环境 规则是秩序的基石。《方案》将明晰数据流通安全规则标准、压实数据流通安全责任、强化数据流通权益保障作为重点任务,通过建设安全可信的制度环境助力营造稳定有序的数据流通环境。在规则设计的部署上,《方案》始终坚持以数据分类分级保护为基本原则,以数据安全标准体系建设为重点,细化了《数据安全法》第17条、第21条等有关规定,夯实了《方案》的法治基础。 其一,《方案》以数据分类分级保护原则为抓手,探索不同类型、不同风险等级数据流通规则的差异化设计方案,聚焦不同的数据安全保障重点,落实数据流通安全保障措施,压实数据流通安全责任。针对企业数据,《方案》明晰了重要数据与一般数据的差异化处理规则。构建了数据处理者依规识别、申报、采取必要安全措施保护重要数据的制度;针对政务数据,《方案》区分了数据提供方和数据接收方的数据流通安全管理责任原则,明确了公共数据授权运营机构的安全管理责任;针对个人数据,《方案》细化了《个人信息保护法》中“知情同意”相关规则及“匿名化处理”有关规定。同时,《方案》提出以国家网络身份认证公共服务等多种方式,以制度创新强化个人数据流通保障。 其二,《方案》强化了数据流通安全相关的标准建设,例如,制定或完善个人信息匿名化相关标准规范、数据流通安全标准、重点场景安全治理标准,健全数据流通安全治理机制,规范和促进数据流通。在贯彻落实《方案》、推动数据安全标准体系建设过程中,需要把握好“三组”关系:一是国家标准、地方标准和团体标准的关系;二是强制性标准和推荐性标准的关系;三是通用标准和特定应用场景标准的关系。强化数据安全标准底层互通性,切实发挥好数据标准的引领性作用,提高数据安全治理效能。 02 创新数据流通安全技术,提升数据安全治理效率 数智技术既是法治的对象,也是赋能法治的工具。《数据安全法》第16条规定国家支持数据开发利用和数据安全技术研究,数据安全技术与数据开发利用密不可分。《方案》将加强数据流通安全技术应用、支持数据流通安全技术创新作为重点任务、重要环节,本身就是一种创新。信息是数据的内容,数据是信息的载体。只有同步推进数据内容安全保护技术和数据载体安全保护技术的开发应用,方能有效且全面地支撑数据安全治理,促进数据流通发展。 在数据内容安全保护技术方面,《方案》不仅强调了数据脱敏、匿名化、数字水印等常见技术手段在保护国家安全、个人隐私和公共安全上的重要作用,而且提出了要融合运用数据指纹、区块链等新型技术手段,以实现数据流转过程留痕、数据交易全程追溯,高效支撑数据流通中的取证和定责,提升数据安全治理效能。 在数据载体安全保护技术方面,应以推动顶得上、稳得住的数据基础设施建设为重点。数据基础设施既是保障数据安全的能力底座,又是支撑构建全国一体化数据市场的重要载体。《方案》落实党的二十届三中全会所提出的“建设和运营国家数据基础设施,促进数据共享”的要求,对于数据流通利用基础设施的接入和使用,按照数据分类分级保护的原则,依法作出了制度安排。尤为值得肯定的是,《方案》提出“对于未认定为重要数据,但企业认为涉及重要经营信息的,鼓励数据提供方、数据接收方接入和使用数据流通利用基础设施,促进数据安全流动。”数据接入是任何形式数据处理和使用的前提,保障数据接入安全是数据流通利用基础设施的重要功能。在数据基础设施建设与应用过程中,应坚持最大幅度降低接入成本、提供接入的技术便利、公平对待所有接入企业等原则,保障数据安全,促进数据开发利用。 03 打造数据流通安全服务,强化市场主体交易信心 我国数据产存转化率低,数据产得出却难流动,看起来海量用起来不多,关键原因在于过高数据流通风险成本与较低数据流通收益之间的矛盾,导致市场主体对数据流通交易普遍缺乏信任、且信心不足。针对数据流通的现状,只有降本增信,才能提质增效。在总体要求中,《方案》提出“以成本最小化实现安全最优化”是化解数据流通堵点的正确之道。在主要任务中,《方案》提出“丰富数据流通安全服务供给”,贯彻“以服代管”的思想理念,对保障数据流通全过程全环节的安全具有重要意义,标志着我国在数据流通安全治理理念和思路转型上迈出了重要一步。具体而言,《方案》一方面积极健全数据流通安全服务内容、充实服务供给,以培育健全数据流通安全检测评估、安全审计等服务,提升数据流通过程中的主体信任;以丰富数据托管等服务供给,研究探索为数据安全提供保险保障的可行方案,加强数据流通过程中的风险应对信心。《方案》另一方面鼓励支持数据流通安全服务创新、繁荣服务市场,通过强化数据安全服务的基础理论研究和核心技术攻关,加速数据安全服务发展专业化、规模化和一体化,实现服务增量,提升服务效能。值得强调的是,在数据流通安全服务多态性发展和规模性扩增的过程中,仍需以市场现实需求为导向、生产应用场景为牵引,更好地发挥市场作用,不可忽视数据安全服务有效竞争在促进数据安全服务高质量创新方面的重要功能。 04 加强数据流通安全执法,维护数据市场运行秩序 数据流通安全执法对保障数据流通过程安全、维护数据市场运行秩序具有显著功能。其一,通过严厉打击数据违法使用行为,防范化解数据流通安全风险;其二,维护数据流通各方主体权益,优化数据市场运行环境;其三,执法是最好的普法,通过发挥典型执法的示范效应,培育数据安全流通的市场文化。加强数据流通安全执法效能关键在于执法能力建设。 《方案》中明确指出要研究完善数据流通安全事故或纠纷处置机制,提升流通风险应对能力。在理解把握和贯彻落实时,首先,应当建立对执法本身的监督机制,避免机械执法、选择性执法、运动式执法等;其次,应当加强执法机构间的协同机制,明确权责清单、推动执法信息共享、强化跨行业领域执法合作等;最后,应当完善执法透明度机制,合理披露执法过程信息、适时开展执法情况通报等。数据流通安全执法应始终秉承为民执法、依法执法、规范执法,在法治轨道上推进数据流通和数据市场建设。 安全是发展的前提,发展是安全的保障。以高水平的数据安全体系建设,保障数据依法有序自由流通,充分发挥我国海量数据规模和丰富应用场景优势,实现数据高质量发展和高水平安全良性互动、相得益彰,才能持续繁荣数据市场,为培育发展新质生产力注入强劲动能。 来源(公众号):北京数据
2025-02-12 15:36 27
什么是数据指标体系? 数据是对事物结果的归纳,指标是衡量目标的方法。组合一下,数据指标就是可以对结果进行归纳的一种目标衡量方式。说人话就是可以将某个事物结果量化,形成数值化的度量方式,用来衡量目标。数据指标就是一种定量思维方式的体现,他至少有两个作用: 1、想不出来数据指标,说明是对这块事(团队要做的事)没有一个清晰的认知 2、 想得清楚数据指标,却做不出来,说明对整个团队缺少掌控,不能推动落地 不能建立数据指标,根本没法做数据驱动,所以数据指标其实是想真实反应我们的团队是什么状态,我们做的事是什么状态的一个指向标。究其原因,组织执行力、产品健康度需要某种程度的量化,数据指标的作用从更宏观的角度看是这样的: 其中牵引指标就对应我们的业务数据指标,牵引指标不健康的时候可以预警是不是团队方向跟目标走偏了,leader要考虑调整目标还是修正团队方向。 结合数据分析来说,数据指标就是将复杂、抽象的业务拆分组合,并找到可以直观明确的衡量这些组合的度量方式,并可用数字来量化。同时他们是相互独立的,可以穷尽的。 但要完整的衡量一个事务或者业务,一个数据指标往往是不够的。如同描述一个人,仅仅描述身高,体重等等单一维度不能反应一个人的全貌一样,单一的某个数据指标是不能反应整体情况的,这时候需要建立指标体系——一系列有逻辑关系的数据指标,通过多维度的数据指标来评估业务状况。 对于一般互联网行业或者产品来说,数据指标体系是用来系统的揭示业务水平状况和用户行为的主要方式。 为什么要建立指标体系? 数据指标本质是用数据说话,对业务进行精准的号脉。 1. 统一衡量业务好坏的标准 传统企业或者小企业可能不会有数据指标体系的概念,也不会下大工夫来建设数据指标体系,但却并不能完全脱离,或多或少都会涉及数据指标,只是不够全面、不能统一、不成体系。 一般衡量业务好坏主要看财务指标,例如收入、毛利率、净利率等。对于一些创新类、探索类的业务可能会关注用户量、GMV、转化率等。不管业务处在什么阶段,我们都需要一些数据指标能够对其进行衡量。 没有指标对业务进行系统衡量,我们就无法把控业务发展,无法对业务质量进行衡量,无法看清楚业务发展是否到达阶段性目标。而且某些复杂的业务,单一数据指标衡量很可能片面化,需要搭建系统的指标体系,才能全面衡量业务发展情况,促进业务有序增长。 当组织有全面、统一数据指标体系时,可以统一度量衡,减少转化、翻译(口径解释)等工作,降低组织内的沟通成本。 2. 指导产品的研发和运营工作 产品的研发和运营其实很依赖数据支持,数据指标不仅仅能帮助大家看到业务发展的结果,还能帮助大家看清产品研发和运营的过程,能够及时调整策略,更万无一失的达到目标。 对于互联网公司,产品的研发和运营等部门是促进公司发展的核心组织,通过完善的数据指标体系和数据分析,来有效聚焦工作目标、指导成员工作。同时对指标体系内的各层级指标间建立起清晰的关系,还能从指标体系出发,明确工作重点。最终做到以数据驱动,找到不足,提升业绩。 3. 帮助建设数据分析体系 数据指标体系是数据分析体系的第一步,数据分析本质就是根据数据指标的变化寻找业务问题、预测业务结果,数据分析工作在数据指标体系的指引下才有意义。 完善的数据指标体系业务可以让数据的采集更有目的性,避免分析时的指标数据遗漏或缺失。虽然有些数据分析软件可以对数据缺失值进行处理,但如果连指标都没有,这种缺失肯定是软件无法处理的。尤其是关键指标的缺失,将会造成分析结果的可信度下降。 数据分析体系的最终目的是帮助组织在内部建设一套可运行的信息反馈机制,能够持续的发现问题、预警风险,帮助决策者能够做到“谋定而后动,知止而有得。 举个例子,我们衡量一个公众号前期的运营情况,可以用一个核心指标——昨日新增用户数。 如果昨天新增用户数是1000,这个猛然一看感觉这个公众号运营的还不错。但是再加个前日新增用户数这个指标呢,如果前日新增用数是2000呢,那么新增用户数直接是下降了50%了。我们加了一个比较的指标,让我们对这个业务的发展认识就完全不一样了。如果我们加入更多的指标,比如阅读量、打开率等等,还会有更多的认识。上面我们不断增加指标的过程,也就是在梳理业务指标体系的过程,一个数据指标是没有办法衡量业务的发展,但是一个指标体系就能把问题说的清晰明白。 一个好的指标体系对于组织而言,可以是一把统一沟通语言的尺子,可以是一台统一方向的司南,可以是一个持续发现问题、预警风险的智库 什么阶段建设? 数据指标体系的建设是和业务的发展相辅相成的,当数据指标体系比较完善时,我们的业务应该也是比较成熟了。 如果业务才刚刚开始,我们就要建成完善的数据指标体系是很难的,而且是不切实际的。就算勉强有,这样的数据指标体系也是无根止水,因为业务是不断变化的,运营方式也会不断调整,大部分的数据指标都需要从业务结果和业务运营过程中去提炼总结。 只有当业务比较成熟时,运营方式比较稳定时,我们的数据指标体系才能初见成效,才能有效的运转起来。 但并不是我们在业务不成熟时,就不应该投入,除了一些可能贯穿这个业务阶段的数据指标外,我们在业务的各个不同阶段应该去发掘提炼每个阶段应该关注的数据指标,不断的迭代,随着业务变化而变化。 比如收入、利润率等财务类的指标应该是业务整个发展阶段都应该关注的,除此之外,在业务发展前期我们可能更会关注新增用户量、转化率、拉新成本等指标,而在业务发展后期,我们可能更加关注活跃率、留存率、运营效率等指标。 数据指标体系不是一日建成的罗马,需要持续不断的投入,在业务发展的不同阶段有不同的小目标,当业务稳定时,这些小目标就汇聚成了最终的大目标。所以我们应该在业务一开始的阶段就要投入,不仅是为业务阶段性的目标提供帮助,也是为最终的数据指标体系添砖加瓦。 资源需求 数据指标体系看似是个很专业的事情,需要很专业的人来干,其实不完全对。 数据指标体系的建设确实需要一些专业的数据人员,需要依赖一些工具,但这并不是最重要的。就像上面说的,数据指标的目的是为了衡量业务好坏、帮助业务发展,因此数据指标建设最重要的是要对业务足够熟悉,能够深入业务,对业务的认识和了解甚至要超过业务负责人。这样看来似乎是老板或者业务负责人应该是数据指标建设的第一负责人,确实如此...在实际的操作中,数据指标体系一般也都是在老板和业务负责人的要求下去建设的,也只有拿到老板或者业务负责人的授权才好推动下去。 因为数据指标体系的建设涉及产品研发、运营、销售,甚至财务、人力等方方面面,需要很强的协调能力。 因此数据指标体系建设的负责人最好是资深的数据分析人员、产品经理或者运营人员,最好是一直跟随业务发展的同学,这样能极大的减少熟悉业务的成本。另外最好与老板或者业务负责人有比较好的关系,有稳定的沟通汇报渠道,因为他们才是数据指标体系的最大受益人。这样既能随时沟通,保证信息和认知一致,同时也能给自己提升影响力,更方便的协调各方资源。其他人力投入还需要一些数据产品经理(也可以是数据分析师)和数据开发同学,他们主要负责执行工作。数据产品经理或者数据分析师需要定义数据指标的概念、口径等,并整理成册,方便各方查阅,统一认知,在后期还要进行数据指标可视化呈现和分析。 数据开发同学需要根据数据指标口径清洗数据,建立好数据模型,方便数据分析同学取用。当然数据的清洗可能还需要研发、IT、运营、销售、财务、人力的各方配合,因为指标需要的数据不仅来源于业务系统,还可能来源于销售系统、财务系统和人力系统等各个地方。除了人力投入以外,可能还需要一些数据开发工具和数据分析工具。这些工具可以自建也可以采购,自建的话投入更多的人力即可,但一般中小企业或团队采购的方式可能更划算。总的说来,要建设一个完善的可投入实际运用的数据指标体系,投入应该是很大的。 组织架构适配 如上所说,数据指标体系只是整个数据分析体系建设的第一步,数据指标体系之后还有很多数据分析的工作,这才是利用数据指标体系产生更有价值的阶段。 所以我们的组织架构并不仅仅只为数据指标体系的建设去设立,可能需要为整个公司或团队对数据的收集、运用去设立。 根据之前数据中台的建设经验,这个团队需要具有跨业务部门共享公共数据的能力,能够承担数据中台建设职责,这里面就包含了建设数据指标体系的能力。 为了能够公正公平衡量各个业务好坏,它必须是一个且独立于业务团队的部门,这个团队的负责人应该直接向老板或相关高管汇报。 为了避免与业务脱节,对这个团队的组织定位是懂业务,能够深入业务,扎根业务。在个团队内部,可以由三个小团队构成: 数据分析团队,这是数据指标建设的核心团队,负责数据指标体系的规划,指标口径的定义和维护,分析报告产出等; 数据平台团队,负责构建支撑数据指标体系的平台,包括指标系统、元数据中心、数据地图等; 数据开发团队,负责清洗数据和数据建模,维护公共数据层,呈现各个数据指标结果,以及满足各个数据指标定制需求。 适合的团队构成和组织定位是建设数据指标体系的必备工作,最好是独立的部门,同时要避免与业务脱节,能够深入业务,要与业务目标绑定。路径是什么? 路径是什么? 数据指标体系建设的第一个难题就是指标管理的混乱,例如下面这些: 1、相同指标名称,口径不一; 2、相同口径,指标名称不一样; 3、指标口径描述不清晰; 4、指标命名难于理解; 5、指标定义和计算逻辑不清晰; 上面这些问题在没有专门的团队来负责数据指标体系这事之前也许可以原谅,但有了专门团队之后,就不应该出现。 所以数据指标体系建设的第一步就是建立好指标管理规范,根据业务需要迭代和更新指标内容,最好是建立一个指标管理系统,能够更加方便的更新和维护我们的指标内容。指标管理也有些技巧可循,例如: 可面向主题域管理,拆分原子指标和派生指标,制定指标命名规范,将指标进行分级管理等。 对于指标分级管理,我们一般将指标分为四级。 第一级是北极星指标,他是公司最重要且唯一的指标,当其他指标与它冲突时,以它为准; 第二级是公司级指标,是公司关注的重要指标,可以有多个; 第三级是部门或者产品线指标,一般是部门或者产品线关注的指标; 第四级一般是业务过程指标,反应的是业务运营过程需要关注的指标。 所谓数据指标体系,肯定是能够用数据衡量的指标才有意义,所以建设数据指标体系的第二步就是需要为给每个数据指标建立数据模型,提供数据支撑。 建立数据模型的关键是数据的收集和清洗,这十分依赖每个公司的信息化建设完善度,对于一般的运营数据还好,数仓团队就可以处理好。 如果涉及销售系统、财务系统、人力系统的数据就会比较麻烦,特别是采购的各个不同的厂商的系统,需要大量的成本来打通各个系统,否则需要大人力来提取和拆分各项数据,这个工作量就极大,而且容易出错、效率低下,最头痛的还是相关的人力协调。 不考虑数据的收集和清洗的话,数据模型建设其实是考验的我们数仓设计能力和模型开发能力,当然现在市面也有一些现成的工具和平台,不需要很强的技术能力就可以搞定。 但是也有一些点需要我们注意,例如尽量避免分散、烟囱式的数仓模型,最好建在一个可复用、可共享的平台上,还可以用完善度、复用度和规范度来评估模型设计的好坏,这些都能够提升我们开发的效率和质量。 最后一步就是指标数据的呈现和数据分析,只有将有数据指标的数据反馈出来,数据指标才有意义。我们一般会为数据指标体系建立一套看板系统或报表系统。 在更高级的使用阶段,可以实现自助取数的功能,让业务人员能够自主获取自己需要的指标相关的数据,打破报表或者看板这种固化的分析思路,不用事事依赖分析师同学。为了能够进行更加全面的进行数据分析,还需要实现数据的全维度钻取,因为分析师同学一般也只能依靠经验去判断一个指标有哪些可分析维度。 如果我们的指标系统能够提供一个指标的所有的可分析维度,并且能够根据需要呈现指标在各个维度下的取值,甚至能够不同维度组合进行层层下钻,这样就更容易找出指标波动的原因,这就是全维度钻取。这样就能够实现数据驱动下的精益运营,能够实现从目标量化、持续跟踪、异常诊断到决策反馈的数据驱动业务闭环。 结语 数据指标体系来源于要解决业务问题,得先搞清楚业务存在哪些问题 所以数据指标体系到底能解决什么业务问题才是最重要的,要能够基于数据指标变化的表象,找到影响业务的原因,并帮助解决这个问题,那老板或业务方才会认可数据指标体系的价值。 同样,数据指标体系的价值最终也是要回到业务价值上来,数据指标体系并不能直接产生业务价值,需要深入业务当中,提炼出有价值的指标,建立数据评价体系,来反馈业务。 但一般来说数分对业务理解不会比业务负责人更多,容易沦为出报表的团队,如何深入业务,如何1+1>2需要更多的思考,至少我现在没有答案...否则一旦发生裁员,这种说不清楚自己价值的团队会很危险 来源(公众号):五分钟学大数据
2025-02-11 10:54 43
目录 1、数据中台概念解析 2、数据平台:数据中台的技术基石 3、敏捷组织:激活数据价值的关键 4、数据中台的业务价值与实践 5、数据中台的未来展望 一、数据中台概念解析 1.1 数据中台的定义 数据中台是一种数据管理架构,旨在打破企业内部数据孤岛,实现数据在不同部门和业务线之间的共享与流通。它将分散在各个系统中的数据进行整合、清洗、统一管理,并以服务化的方式提供给各业务部门,使其能够基于统一的数据资产开展数据分析与应用。数据中台的建设需要强大的技术平台支撑,同时也离不开敏捷高效的组织保障。 1.2 数据中台的起源与发展 数据中台概念的提出,既有技术驱动,也有业务驱动。一方面,以Hadoop为代表的大数据技术发展日新月异,让海量数据的存储、计算、分析成为可能,为数据中台奠定了技术基础。另一方面,互联网的快速发展催生了数字化商业模式,企业开始意识到数据价值,亟需通过数据洞察来指导业务决策、优化运营效率,由此对打通数据孤岛、释放数据价值提出了迫切需求。 同时,传统企业在数字化转型中也面临着数据割裂、业务响应不及时等问题,而互联网企业的成功实践,如阿里巴巴的中台战略,为传统企业树立了标杆,加速了数据中台在各行业的应用和普及。 1.3 数据中台的核心组成要素 数据平台与敏捷组织,看似是两个不同领域,但在数据中台的语境下,二者相辅相成,缺一不可。数据平台解决了数据要素的"存流用"等技术问题,但如果没有一套高效的组织方式,没有一群懂业务、善分析、会应用的复合型人才,再完善的平台也难以真正发挥作用。反之,单纯的组织变革,如果没有一个强大的数据和算力后盾,也很难在数字化时代立于不败之地。 因此,我们需要用系统思维、全局观念来统筹数据中台建设,以开放的心态拥抱变化,以创新的勇气打破边界,让业务、技术、数据三位一体,在敏捷的氛围中碰撞出智慧的火花。 二、数据平台:数据中台的技术基石 2.1 数据平台的定义与架构 数据平台的架构设计需要兼顾灵活性、可扩展性、安全性等多个维度。在数据源层,要考虑异构数据源的接入能力,在架构上往往采用分布式的设计,以便支持海量数据的存储和处理。在数据集成层,需要考虑多种数据处理模式,如ETL、ELT、CDC等,以应对不同的业务场景。在数据存储层,要根据数据特征和业务需求,合理选择存储引擎,并进行容量规划和性能优化。在数据服务层,要注重数据服务的可复用性,提供标准化的接口协议和规范化的元数据管理。 总之,数据平台的设计需要在性能、成本、复杂度之间进行权衡,需要循序渐进、不断演进。一个成熟的数据平台往往经历了单一数据源到多源异构、批处理到流处理、集中式到分布式的发展过程。建设之初,可以从某一业务痛点切入,快速见效,然后再逐步扩大平台边界,丰富平台功能。 2.2 数据集成与存储 2.2.1 数据采集 数据采集的首要原则是全面性,即要尽可能地将对业务运营、决策有价值的数据纳入采集范畴。其次是实时性,对于业务变化较快的实时数据,需要借助Kafka等消息队列实现实时采集与传输。此外,在采集过程中要注意数据格式的标准化,如对日期、金额等字段进行统一格式定义,为后续的数据处理奠定基础。 2.2.2 数据清洗与转换 在数据清洗方面,要制定完善的数据质量标准,从完整性、唯一性、及时性、准确性等维度,设定数据质量校验规则。利用表的逐条扫描或者UDF函数,实现重复数据的识别、异常数据的修正,并建立数据质量看板,直观展示数据质量状况。 在数据转换方面,需要预先梳理业务主题模型,定义统一的业务口径和计算逻辑。利用SQL、MapReduce、Spark等数据处理工具,对分散的原始数据进行抽取、聚合、关联,形成面向主题的汇总表或宽表,便于后续的分析应用。在转换过程中,要权衡数据的时效性和计算成本,采用T+1、T+N等不同时效的数据处理策略。 2.2.3 数据存储 选择数据存储方案时,首先要明确对数据的访问模式。如果以批量、复杂的分析查询为主,则更适合用Hive等面向分析的数据仓库;如果以单条记录的随机读写为主,则HBase等NoSQL数据库是更好的选择;如果需要进行海量数据的关联探索,则Kylin等OLAP引擎是理想方案;如果要存储爆发的流式数据,则Druid、InfluxDB等时序数据库大有可为。 因此,数据平台往往呈现多元异构的存储格局。面对这种异构环境,我们要通过统一的元数据管理、访问接口等手段,屏蔽底层存储差异,让数据使用者能够以更简单、透明的方式访问数据。同时,要关注存储系统的可扩展性,当数据量激增时,能够通过横向扩容、数据分片等手段,提升系统吞吐能力。 2.3 数据分析与挖掘 2.3.1 OLAP分析 OLAP分析是数据中台的重要功能,它以多维数据立方体为基础,支持flexible、interacttual的数据分析。一个典型的OLAP分析过程包括:定义维度、度量 - 物理化数据立方体 - 聚合运算 - 可视化展现等步骤。 在维度设计上,要全面刻画业务实体,如客户可以从年龄、性别、地域、消费等角度描述。在聚合运算上,要选择恰当的聚合函数,如求和、平均、计数等。此外,OLAP分析还需要支持灵活的切片切块、上钻下取等操作,让使用者能够从不同角度、不同粒度分析数据。 常见的 OLAP引擎如 Kylin、Mondrian都提供了可视化设计工具,大大降低了开发门槛。但OLAP分析也有其局限,如不擅长复杂的统计分析,难以挖掘数据内在规律。因此,OLAP分析常作为数据分析的"前菜",为后续的数据挖掘、机器学习提供特征数据。 2.3.2 数据挖掘算法 数据挖掘旨在从海量数据中发现隐藏的、有价值的知识。它综合运用统计学、机器学习等方法,建立描述数据内在规律的模型。常用的数据挖掘算法如下: 关联规则:发现事物之间的关联性,如啤酒和尿布的购买相关性。典型算法有Apriori、FP-Growth等。 聚类分析:把相似的事物自动归入一个集合,形成若干个类簇。典型算法有K-Means、DBSCAN等。 分类预测:通过已知类别的样本,训练出判别模型,对新样本进行类别预测。典型算法有决策树、朴素贝叶斯、SVM等。 异常检测:识别出明显偏离大多数的异常数据,在反欺诈、风控等场景应用广泛。典型算法有统计检验、聚类等。 推荐系统:根据用户的历史行为,推荐其可能感兴趣的内容。典型算法有协同过滤、矩阵分解等。数据挖掘需要与业务场景紧密结合。我们要明确挖掘目标,选择恰当的算法,调试算法参数,并用业务知识解释算法结果,持续迭代优化,让数据挖掘产生切实的业务价值。 2.3.3 机器学习与人工智能 随着算法模型的日益成熟和计算力的不断提升,机器学习已成为人工智能的核心驱动力,在图像识别、自然语言理解、知识图谱等领域取得了瞩目的进展。机器学习大致可分为监督学习、非监督学习、强化学习等范式。 监督学习从大量已标注的数据中学习,训练出从输入到输出的映射模型。如我们从历史数据中学习,建立"用户特征 - 是否流失"的判别模型,来预测新用户的流失可能。非监督学习从无标注数据中学习,自动发现数据的内在结构和规律。如用LDA主题模型,从海量文本中自动提炼出主题词。强化学习通过智能体与环境的交互,不断试错,最大化长期收益。如AlphaGo通过大量的自我博弈,掌握了高超的围棋策略。 要将机器学习大规模应用到业务中,离不开数据中台的算力支持。我们要为模型训练提供充足的算力,利用GPU、FPGA等异构硬件加速计算。在算法工程化方面,要规范化机器学习流程(数据准备-特征工程-模型训练-模型评估-模型服务),打通从样本数据到预测接口的全链路。 2.4 数据服务与API 2.4.1 数据服务目录 梳理数据服务目录,本质是对企业数据资产的盘点。一方面,通过目录梳理,我们可以系统地了解企业有哪些数据、这些数据分布在哪里、主要用于哪些业务场景,进而规划数据治理工作。例如,当发现某业务场景缺乏必要的数据支撑时,我们就要考虑补充相关数据。另一方面,数据服务编目也是服务管理、服务复用的基础。通过统一目录,使用者能够便捷地检索数据,根据接口规范调用数据,避免重复劳动。 在梳理服务目录时,要对数据资产进行适当分类,如按主题划分为客户数据、营销数据、财务数据等,按来源划分为业务库数据、日志数据、外部数据等。对数据表及其字段,要添加易于检索的标签,记录数据的业务含义、权限要求等元信息。 此外,随着企业数据服务的日渐丰富,服务之间的依赖关系日益复杂,这就要求我们实现服务的可视化血缘分析,即清晰展现出一个服务调用了哪些上游服务,又被哪些下游服务调用。这样当某个基础数据发生变更时,我们可以评估其对相关服务的影响。 2.4.2 API管理与治理 对于大型复杂系统而言,API已成为连接各子系统的重要纽带。数据平台要以API的方式,把数据服务开放给各业务应用使用。与此同时,API的管理与治理也成为关键课题。首先是API的设计要严格遵循REST等成熟规范,力求接口定义的标准化。其次要建立API的全生命周期管理流程。以API网关为例,在API创建时,需发布API文档、SDK,并定义API级别、配额等策略。在API运行时,要监控API的调用量、延时等指标,及时优化性能瓶颈。在API变更时,做好版本管理,保证兼容性。在API下线时,提前通知调用方,以免影响业务连续性。 API治理的核心是为API提供统一、标准、规范化的管理方式,减少对API的滥用和错用。我们要明确API的适用场景和约束条件,合理划分不同业务方对API的访问权限。同时,建立API的计量计费机制,以API调用次数等指标,合理分摊成本。在安全方面,要对API请求进行认证和鉴权,防止未授权的访问。此外,要保证API的高可用,当某个API节点故障时,可自动切换到备用节点。 2.5 数据安全与隐私保护 2.5.1 用户权限管理 在大数据时代,数据已成为企业的核心资产。而数据资产的安全访问与合规使用,离不开严谨、细粒度的权限管理。基于角色的访问控制(RBAC)是常用的权限管理方案。我们首先要梳理企业内的用户角色,如数据管理员、业务分析师、应用开发者等,明确各角色的数据使用边界。然后要将角色与权限相关联,可采用用户-角色-权限三层架构。即一个用户可对应多个角色,每个角色定义一组数据访问权限,如可读、可写、可删除等。 除了基于用户角色,权限管控还可基于数据资产的敏感程度。比如对客户的身份证号、手机号等隐私数据,要设置更严格的权限,如只有个别业务处理岗位才能读取。而对于汇总类的统计数据,可适当放宽权限,供更多人员查看。 在实现上,Hadoop生态提供了基于角色的权限管理机制,如Ranger、Sentry等,可集中管理Hadoop组件的访问权限。对于自研的数据服务,可利用Shiro、Spring Security等安全框架,将权限管理嵌入到系统中。 2.5.2 数据脱敏 大数据技术让企业能够采集、存储海量数据,其中不可避免地包含一些敏感数据。如果这些敏感数据被不当利用,极易造成用户隐私泄露、企业声誉受损。数据脱敏正是为了最大限度保护数据安全,又不影响数据可用性而生的。 数据脱敏的常见方法有: 数据加密:利用加密算法,将明文数据转换为密文。在使用时需要解密还原。适合于敏感程度高,但使用频次低的数据。 数据掩码:利用特定规则,对敏感信息进行部分屏蔽。如将手机号"13012345678"掩码为"130****5678"。掩码后的数据可用于日常业务查询,而敏感信息得到保护。 数据替换:用一个假名值来替代真实的敏感值。如对姓名进行哈希映射,将"张三"替换为一个随机串"as34f"。替换后的数据仍可开展分析,但难以追溯到真实个人。 数据删除:对于高度敏感且不再使用的数据,应及时删除。这需要制度规范和技术工具双管齐下。 值得注意的是,脱敏通常发生在数据流动的"最后一公里",即在呈现给用户时进行。这就要求我们有选择性地对不同数据消费场景进行脱敏。如对于BI类的统计报表,往往只需较弱的掩码脱敏;而对于对外开放的数据,则要进行彻底的加密脱敏。 2.5.3 安全审计 安全审计是事后监管,对平台上每一次数据访问行为进行记录、分析,用以识别可能的数据泄露或违规操作。当前,大数据平台中的用户行为日志高度分散,传统的日志收集与关联分析方法难以满足要求。因此,亟需建立大数据安全审计机制。 具体而言,审计日志要涵盖多个关键要素:时间(when)、地点(where)、人员(who)、数据(what)、行为(how)等,用以还原数据访问的5W1H。在采集过程中,要注意日志的规范性与集中性,定义统一的日志格式,采用flume等工具进行集中采集。考虑到海量的审计日志给存储和计算带来的压力,可利用主题模型、关联规则等算法,提取日志的行为模式,再利用机器学习算法建立异常行为甄别模型,从而实现自动化的违规行为发现。 总之,数据中台要筑牢"安全防火墙",将"堡垒"前移至数据采集、存储、流通、使用等各个环节。既要"以防为先",完善制度流程,加强权限管控与脱敏处理;又要"以查为用",借大数据分析手段,对数据使用行为进行穿透式审计,消除潜在的数据安全隐患。 三、敏捷组织:激活数据价值的关键 3.1 传统组织模式的局限性 在传统的职能制组织中,业务部门和数据部门往往是割裂的。一个典型的数据需求流程是:业务部门提需求 - 数据部门出方案 - 业务反馈不满足 - 数据重新开发。业务与技术的鸿沟,导致需求响应迟缓,开发成本居高不下。而数据部门对业务理解不足,只能被动接受需求,缺乏主动洞察业务的动力,难以真正发挥数据的价值。 当前,越来越多的企业意识到,打破部门壁垒,构建敏捷组织,让业务、数据、技术紧密融合,是数据中台落地和发挥价值的关键一环。通过跨部门人才组建数据小组,以产品思维和持续迭代的方式开展工作,快速验证数据价值,把数据的效用最大化。 3.2 敏捷组织的优势 3.2.1 跨部门协作 传统的开发模式中,制定需求、设计方案、进行开发、测试上线等环节,由不同部门各自负责,导致协作成本高,进度难以把控。而敏捷组织打破部门藩篱,组建跨职能的产品开发小组。小组成员来自业务、产品、开发、数据等岗位,掌握产品全生命周期的技能。这种"全栈化"的人才结构,有利于增进部门间的理解和信任,形成"主人翁"意识,激发团队的创造力。 例如,当业务提出一个数据需求时,在传统模式下,需求会在不同部门间流转,每个部门只关注自己的一亩三分地。而在敏捷组织中,来自业务、数据、开发的成员齐聚一堂,围绕需求展开头脑风暴,分析数据的潜在价值,设计数据应用方案。大家立场统一,目标一致,迅速达成共识,形成可落地的方案。 3.2.2 快速迭代 当前瞬息万变的市场环境,决定了企业必须以快制胜。而大数据系统的开发往往周期漫长,系统上线时,需求可能已经变了。敏捷开发正是针对这一痛点而生。它倡导将一个大目标分解为若干个小目标,每个小目标都可在1-2周内完成,并产出可用的产品增量。 在数据中台建设中,我们可采用"数据即服务"的思想,将数据服务拆分为多个独立的小模块,每个模块围绕某个数据主题,提供一组相对完备的API,可被下游系统灵活调用。这种"微服务化"的架构,可显著提升平台的迭代速度。 以某银行的客户画像系统为例。传统的做法是设计一个涵盖各种标签的大而全的客户画像,历经数月才能建成。而采用敏捷思维后,团队将客户画像划分为人口属性、资产、行为、偏好等多个子域,每个子域可独立开发。先快速建立MVP(最小可行产品),覆盖关键标签,尽早应用到营销等场景中,在使用中不断完善。3个月内,即建成一套可持续演进的客户画像体系,且收效斐然。 3.2.3 持续交付 持续交付是敏捷开发的高级阶段,它要求在代码变更后,能快速、可靠地将变更部署到生产环境,实现价值的"高频小步"交付。这对开发运维一体化(DevOps)提出了更高要求。我们要打通需求、开发、测试、部署、运维等各个环节,利用自动化工具实现端到端的流程贯通。 在数据中台建设中,我们要规范数据分析、数据开发流程,利用Jenkins等CI工具,将数据处理逻辑的变更,自动编译、测试、打包、发布。利用Ansible等运维工具,实现一键式环境部署。利用Prometheus、Grafana等监控工具,实时采集数据服务的性能指标,及时发现和解决故障。 持续交付让数据分析、数据开发如丝般顺滑,极大压缩了数据应用的"创新周期"。但它对团队的技术实力和协作能力提出了更高要求。我们既要打造全栈化的数据团队,又要营造开放、包容、互信的组织文化,让创新的源泉充分涌流。 3.3 业务敏捷Scrum框架 3.3.1 Scrum角色 Scrum框架中,对传统的项目角色进行了重新定义。这种新的角色划分打破了职责边界,强调个人跨界发展,增强了组织韧性。 产品负责人(PO)作为需求方代表,全面把控产品方向。PO需要平衡业务利益相关方的诉求,引导团队聚焦最有价值的需求。这就要求PO既要熟悉业务,又要深谙技术。在数据中台团队中,PO往往由业务部门的骨干和数据部门的专家共同担任,以业务视角驱动数据应用的产品化。 Scrum主管(SM)是敏捷教练和引导者。SM负责营造高效、和谐的团队氛围,协调资源,推动Scrum流程在团队内扎根。这就要求SM具备出色的沟通、谈判、组织能力。在数据中台团队中,SM可由经验丰富的项目经理或架构师出任。 开发团队则是Scrum的主力军。Scrum团队通常由5-9人跨职能人员组成,既有懂业务的产品经理,又有擅长数据分析、数据开发的技术专家,大家协同工作,互补长短。在自组织的团队氛围中,成员的创造力和主人翁意识得到激发,团队凝聚力和战斗力倍增。 3.3.2 Scrum事件 Scrum规定了一系列规范的仪式,将约束转化为自觉,让团队在民主和高效中找到平衡。Sprint是Scrum的核心, 通常以2-4周为周期,团队在此期间完成一个产品增量。Sprint让庞大的开发任务变得可分割、可管理,将不确定性降到最低。Sprint开始前,举行Sprint计划会议,团队对照产品Backlog,评估工作量,选择本次Sprint要完成的需求,制定Sprint Backlog。之后在每日站会上,团队成员简要汇报昨天完成的工作,今天计划的任务,遇到的障碍等,以自我管理的方式共同推进Sprint的进行。 Sprint结束时,召开评审会议,团队向PO展示本次迭代的成果。PO根据验收标准,给出反馈意见,决定是否发布。无论成败,团队还要举行回顾会议,总结经验教训,找出改进措施。Sprint让团队在紧张有序中前行,在反思改进中成长。 Scrum的一个独特实践是每日站会。团队成员每天都要围站在一起,简单回答三个问题:我昨天为Sprint目标做了什么,我今天计划做什么,有什么障碍需要解决。站会时间控制在15分钟内,简洁高效。通过站会,团队及时同步信息,发现问题,调整方向,形成紧密的协作网络。 3.3.3 Scrum工件 Scrum框架中的各种工件,如用户故事、Sprint Backlog、燃尽图等,是团队沟通和自我管理的重要工具。用户故事是从用户视角表述的需求,通常由PO编写。一个好的故事要体现用户、功能和价值三要素,如"作为一个数据分析师,我希望有一份销售日报,以便及时洞察销售情况"。将需求细化为一个个小故事,可降低交付风险,缩短反馈周期。 Sprint Backlog由开发团队分解产生,是本次迭代要完成的任务列表。与传统的需求文档相比,Backlog更加灵活、易于变更。团队每天更新Backlog,调整优先级和工作量估算,确保Sprint目标如期达成。 燃尽图直观展示了Sprint的完成进度。横轴是时间,纵轴是剩余工作量,随着Sprint的进行,曲线应稳步下降。燃尽图揭示进度异常,让团队有机会及时应对。例如,如果线路平缓,说明近期没有需求完成,要分析是否是技术障碍或外部依赖导致。 在数据中台团队中,我们要因地制宜地应用Scrum工件。围绕数据集成、数据服务、数据应用等目标,梳理出清晰、细粒度的待办需求。将需求装入产品Backlog,并随时保持排序和更新。Sprint内则聚焦少数高价值需求,快速开发,灵活应变。通过燃尽图和Jira等敏捷管理工具,团队能及时掌控Sprint进展,在自我管理中激发潜能。 3.4 敏捷转型的挑战与应对 尽管敏捷开发已被证明是行之有效的研发模式,但对于习惯了传统"瀑布"模式的团队而言,转型之路并不平坦。组织惯性、思维定势、能力缺口等,都将对敏捷转型形成阻力。 在组织结构方面,敏捷倡导扁平化、去中心化的团队架构,强调自组织和主人翁精神。这与等级森严的科层制组织存在天然的张力。转型过程中,我们要循序渐进地重塑组织架构,先从局部突破,以点带面。比如可先在数据应用项目中试点Scrum,积累经验后再向数据平台建设推广。我们还要打造"服务型"的职能部门,建立灵活的人才流动机制,让团队能随需求而动态调整。 在流程和工具方面,敏捷倡导"个体和互动高于流程和工具"。但这并不意味着完全抛弃流程和工具,而是要因地制宜地应用。对于数据平台这样复杂的系统,我们仍需建立最小必要的规范流程,如数据治理流程、数据开发规范等。同时,要用好现代化的敏捷工具,如用Jira管理Backlog,用Confluence沉淀知识,用Jenkins实现持续集成。但要警惕工具成为"挡箭牌",失去敏捷的精髓。 思维转变的挑战或许更加艰巨。无论是管理者还是团队成员,都难免受传统观念的束缚。管理者要学会放手,以"授权型领导"取代"指令型控制",为团队创造宽松、互信的环境。团队成员要革故鼎新,学会自我驱动,用开放的心态拥抱变化。这需要组织持续开展敏捷教练和培训,营造鼓励创新、宽容失败的文化。 四、数据中台的业务价值与实践 4.1 提升数据驱动的业务洞察力 在数字化时代,无数据,不决策。企业要从数据中获得敏锐、深刻的业务洞见,指导战略制定、资源配臵、运营优化。数据中台的建立,为企业的数据驱动决策奠定了坚实基础。 在战略层面,企业领导者需要通过数据,洞悉市场格局、行业趋势、消费动向,做出精准的投资布局。以某快消品巨头为例,基于数据中台整合线上线下销售数据,借助机器学习算法,该公司准确预测了新品类的市场前景,抢先布局,实现了业绩弯道超车。 在管理层面,各业务部门需要通过数据,及时发现经营短板,评估改进成效。数据中台为业务管理者搭建了"驾驶舱",以可视化报表和监控大屏的形式,呈现业务运行的实时状态。当关键指标出现异常时,系统可自动预警,引导管理者深入查因,精准施策。 在执行层面,一线业务人员需要通过数据,了解用户画像,优化作业流程。以某电商的智能客服系统为例,该系统基于数据中台的客户行为数据和订单数据,训练了客户意图识别和个性化推荐模型。客服人员借助该系统,可快速判断客户意图,用最合适的话术和商品推荐来满足客户需求,并对客户购后评价进行情感分析,发现服务改进点。 数据驱动的洞察力,让企业在动荡的商业环境中,立于不败之地。但这种洞察力不是一蹴而就的,而是在漫长的数据积累和持续的业务练兵中修炼而成。正所谓"数据如大海,业务如枪炮"。唯有在数据中台的滋养下,以敏捷的业务实践为试金石,方能淬炼出一支具有战略视野、能攻善守的数据军团。 4.2 加速产品与服务创新 当前,技术创新日新月异,消费者需求瞬息万变,产品和服务创新成为企业突围制胜的利器。数据中台为创新提供了源源不断的养料,让企业以更低成本、更快速度,开发出最契合用户需求的产品和服务。 一个鲜明的例子是Netflix的个性化推荐。Netflix拥有海量的会员观影数据,覆盖观看时长、暂停位置、搜索内容等多个维度。这些数据经中台加工、沉淀,成为算法模型的"学习材料",再反哺到个性化推荐系统。据统计,Netflix超80%的会员观影来自个性化推荐。推荐系统不仅提升了用户体验,也对内容投资产生了重要影响。通过分析用户观影偏好,Netflix可洞悉题材、类型、演员等要素的吸引力,指导内容采购和自制剧战略,最大化投资回报。 再如某保险公司的"千人千面"产品策略。该公司将理赔数据、客户数据、行为数据等汇聚到数据中台,通过客户细分和特征分析,将客户划分为风险偏好、健康意识、价格敏感度等不同群体。产品经理基于群体洞察,针对性地设计出定制化的保险产品,并在中台搭建的AB测试平台上快速验证产品假设,从而缩短了产品上市周期,提升了收费保费规模。 创新无止境。唯有让创新基因融入组织血脉,以数据中台为创新加速器,企业方能在创新的道路上越走越宽广。但创新绝非蛮干,更需要精准的战略指引。数据固然重要,但不能被数据牵着鼻子走。要立足企业战略和行业趋势,甄别出最有价值的数据,以"少而精"的数据应用撬动"多而广"的业务创新。 4.3 优化运营效率与用户体验 在数字化浪潮中,效率至上,体验为王。运营效率直接影响企业成本,用户体验直接影响企业收益。数据中台为运营优化和体验提升插上了腾飞的翅膀。 在运营方面,企业需要通过数据监测每一个运营环节的效率瓶颈,并优化资源配置。以某快递公司为例,该公司将订单、包裹、运力等数据集成到中台,应用动态调度算法,对运力进行实时优化,缓解高峰期"爆仓"问题。运单数据还被进一步加工为网点KPI,对网点进行效能管理。管理者即可纵览全局,又能下钻到每一个网点、每一名快递员,精细化管理水平大幅提升。 在体验方面,企业需要通过数据还原每一位用户的使用旅程,洞察用户真实诉求,提供个性化体验。以某在线教育平台为例,该平台汇聚学生画像、学习行为、练习得分等数据,针对不同学生提供个性化的学习路径。当发现某学生的练习正确率下降时,系统会自动推送针对性的题目和微课。通过数据驱动的个性化学习,学生完课率和续费率均得到显著提升。 运营和体验的优化是一个动态的过程,需要持续的数据回流和算法迭代。这就要求数据中台具备完善的数据采集和数据处理机制,让业务应用能便捷地调用所需数据。同时,业务团队也要树立"增长黑客"的意识,主动嵌入数据分析能力,用实验思维进行产品优化。唯有让前台业务应用与后台数据中台形成闭环,方能真正实现业务和数据的双轮驱动。 4.4 国内外企业数据中台案例 当前,国内外众多企业都在积极探索数据中台之路,并从中收获了丰硕的业务价值。 阿里巴巴集团是国内最早倡导中台战略的企业。阿里的数据中台整合了集团内部包括淘宝、天猫、支付宝、菜鸟等业务的数据,涵盖交易、物流、金融、客服等各个环节。在此基础上,阿里构建了丰富的数据产品和服务,如统一用户画像、智能推荐、实时风控等,为商家赋能,支撑集团业务不断做大做强。以统一用户画像为例,它汇聚了用户在各业务域的行为数据,刻画了用户的商业特征和价值,成为阿里精准营销、千人千面的基石。据测算,2018年,仅用户画像、智能推荐两个数据应用,就为阿里贡献了超500亿的GMV。 腾讯在游戏领域打造了行业领先的数据中台。腾讯游戏数据中台囊括数十款游戏产品、数百个业务系统,通过统一的数据采集、数据处理、数据服务架构,支撑游戏业务的精细化运营。围绕用户生命周期管理,腾讯构建了新用户预测、付费意愿预测、流失预警、社交网络分析等一系列数据应用,并配以灵活的运营工具,显著提升了用户转化和留存。据统计,腾讯游戏的ARPU(单用户平均收益)、月活用户数等核心指标,在数据中台应用后均实现翻倍增长。 美国零售巨头沃尔玛近年来通过数据中台实现了线上线下一体化运营。沃尔玛将线下门店的POS交易数据、用户消费数据与电商平台数据打通,洞悉用户线上线下的全渠道购物行为。依托中台强大的数据处理能力,沃尔玛优化库存管理,提高门店的到货率和上架率。通过订单履约算法,沃尔玛还能精准预测区域性需求,为门店的商品选品提供决策支持。2018年,沃尔玛线上业务增长40%,1300家门店实现两位数的增长,中台功不可没。 人工智能公司第四范式专注于为企业客户提供AI中台解决方案。第四范式将客户的业务数据、算法、模型、应用集中管理,让企业能快速开发和部署AI应用。以某银行反欺诈项目为例,银行将用户画像、行为数据接入第四范式数据中台,调用中台内置的异常检测、关系网络等算法,灵活配置风险策略,从而实现实时、精准的欺诈识别。据介绍,第四范式中台可将AI应用的开发效率提升10倍,并已在金融、制造、能源等行业获得规模应用。由此可见,数据中台已从概念走向现实,在多个行业、领域创造了显著的价值。值得注意的是,虽然不同企业的数据中台架构、功能、场景各异,但背后体现的"业务融合、数据融通、敏捷创新"的数字化转型理念是一致的。这为更多企业规划自己的数据中台之路指明了方向。 五、数据中台的未来展望 5.1 数据中台的进化方向 放眼未来,数据中台将从以下几个方向延伸和深化: 数据即服务(Data as a Service,DaaS)。 随着企业数字化程度的提升,数据资产将日益成为企业的核心竞争力。DaaS的概念应运而生,即企业将数据中台视为一个数据服务提供平台,不仅为内部业务赋能,还可面向外部合作伙伴、开发者、乃至最终用户提供数据服务,创造全新的商业模式。这需要企业从战略高度重新审视数据的边界、质量、权属、定价等问题,并探索数据确权、交易、结算等全新机制。 AI中台。 当前,深度学习、知识图谱等人工智能技术方兴未艾,但在企业中的规模化应用仍面临诸多挑战,如算法工程化难、数据采集贴标难、模型训练部署难等。AI中台的建设正是为了破解这些难题。基于数据中台积累的海量数据,AI中台可为算法模型提供优质的训练样本。基于成熟的机器学习工作流,AI中台可规范化、工具化算法开发流程,提升开发效率。基于统一的推理服务,AI中台可实现算法的快速部署和调用。总之,数据中台将与AI中台深度融合,形成互补的数据-算力支撑体系。 物联网时代的数据中台。 随着5G、边缘计算等技术的发展,物联网正从概念走向现实。海量的物联网设备将产生爆发式的数据增长,给数据中台的接入、存储、计算、分析带来全新挑战。物联网时代的数据中台需要具备更强大的数据集成与数据治理能力,尤其要支持多源异构数据的实时处理。此外,边缘端的数据分析、数据服务能力也将纳入数据中台的范畴,以实现端-边-云的协同计算。如何平衡物联网场景的时延、功耗、成本等约束,将是数据中台必须面对的新课题。 以区块链为基础的分布式数据中台。 当前,数据中台多以中心化的架构为主,数据汇聚和处理依赖于企业内部的集中式平台。但随着数据主体意识的觉醒和隐私保护的日益严格,这种中心化架构面临诸多挑战,如数据所有权争议、数据共享壁垒、数据泄露风险等。区块链技术为破解这些难题提供了全新思路。基于区块链的分布式账本、智能合约、安全多方计算等机制,有望构建一个多方参与、共同治理的联邦数据中台,实现数据在确保隐私与安全的前提下加密流通,让数据要素的价值得到最大化激活。 当然,上述展望绝非数据中台发展的全部。可以预见,数据中台作为连接数据、业务、组织的关键枢纽,必将以更加开放、敏捷、智能的姿态,融入到企业数字化转型的方方面面。而每一次数据中台能力边界的突破,都将为业务创新和价值创造开辟新的疆域。 5.2 总结与展望 数据中台是数字化时代的"新基建",代表了以数据驱动为核心的新型IT架构。这种新架构不仅仅是技术手段的迭代,更是管理理念、组织范式、商业模式的系统性重构。从本质上说,数据中台是企业应对数字化转型挑战的制胜法宝。然而,筑建数据中台绝非一蹴而就。打造一个成熟的数据中台需要在数据集成、数据存储、数据治理、数据服务等诸多方面形成系统能力,需要在跨部门协作、敏捷开发、持续交付等方面积累扎实经验。这注定是一场持久战,既考验企业的战略定力,也磨炼企业的转型毅力。 来源(公众号):DATA数据社区
2025-02-10 11:29 63
DEEPSEEK作为智能一款助手,在数据治理体系中具有深远的影响。它通过提供智能化、自动化和高效化的解决方案,推动企业在数据治理变革与领域的优化。以下是EPSEEK对数据治理体系影响的多角度分析: 一、战略层面:推动数据治理目标的明确与实现 1. 数据价值挖掘 DEEPSEEK强大的数据分析通过能力,帮助企业识别数据中的潜在价值,并将其转化为可操作的业务洞察。这有助于企业在制定数据治理战略时更加聚焦于核心目标。 2. 数据驱动决策 DEEPSEEK支持实时数据分析和预测建模,为企业提供科学的决策依据。这使得数据治理不仅仅是技术层面的工作,而是成为企业战略的重要组成部分。 3. 数字化转型助力 DEEPSEEK通过智能化的数据治理工具,帮助企业加速数字化转型进程。它能够将分散的数据资源整合为统一的数据资产,为企业的数字化战略提供坚实基础。 二、组织层面:优化数据治理的组织架构与协作 1. 跨协作部门 DEEPSEEK支持多源数据的整合与分析,打破了传统数据治理中各部门之间的信息孤岛。通过统一的数据平台,企业可以跨实现部门的高效协作。 2. 角色分工优化 DEEPSEEK通过自动化工具(如数据清洗、标准化、验证等),减少了人工干预的需求。这使得数据治理团队能够将更多精力投入到战略规划和高价值工作中。 3.数据文化塑造 DEEPSEEK通过提供直观的数据可视化和报告功能,帮助企业培养“以数据为中心”的文化。这种文化能够员工推动更加主动参与地数据工作治理。 三、制度层面:完善数据治理的政策与流程 1. 数据质量管理 DEEPSEEK通过内置的数据清洗、去重和标准化功能,帮助企业建立完善的数据质量管理流程。这使得企业能够更好地满足行业标准和监管要求。 2. 数据安全与隐私保护 DEEPSEEK支持数据加密、访问控制和隐私保护技术(如匿名化和脱敏)。这有助于企业建立符合法规(如《个人信息保护法》、GDPR等)的数据安全制度。 3. 合规与审计 DEEPSEEK提供实时监控和审计功能,帮助企业记录数据处理的全过程。这不仅提升了企业的合规性,还为审计提供了可靠的支持。 四、执行层面:提升数据治理的效率与效果 1. 自动化工作流 DEEPSEEK通过自动化工具(如数据清洗、转换、加载等),显著提升了数据治理的效率。这使得企业能够更快地完成数据整合和分析任务。 2. 实时监控与反馈 DEEPSEEK支持实时数据监控和异常检测功能。这使得企业能够在问题发生时快速响应,避免潜在风险对企业造成重大影响。 3. 持续改进机制 DEEPSEEK通过机器学习和自然语言处理技术,能够不断优化自身的算法和模型。这使得数据治理体系能够随着业务需求的变化而持续改进。 五、技术层面强化:数据治理的技术支撑 1. AI与大数据技术融合 DEEPSEEK基于先进的AI技术和大数据分析能力,能够处理海量、复杂的数据源。这使得企业在面对多样化数据时更具技术优势。 2. 灵活的扩展性 DEEPSEEK支持多种数据源的接入和集成(如结构化数据、非结构化数据等),并且能够根据企业的实际需求进行灵活配置。这使得治理体系数据更具扩展性和适应性。 3. 云服务与安全性 DEEPSEEK依托云服务提供技术支持,确保企业在享受高效计算资源的同时,还能保障数据的安全性和可靠性。 六、其他影响:推动数据治理体系的创新与变革 1. 降低治理成本 DEEPSEEK通过自动化和智能化工具,显著降低了企业在数据治理中的时间和人力成本。这使得中小企业也能够轻松实现高效的数据治理。 2. 提升用户体验 DEEPSEEK通过自然语言处理技术,能够更以贴近用户的方式提供数据服务。这使得数据治理体系更加业务贴近需求,提升了用户的满意度。 3. 应对未来挑战 DEEPSEEK通过持续的技术更新和功能优化,帮助企业应对未来的数据治理挑战(如伦理AI、数据主权等)。这使得企业的数据治理体系更具前瞻性和可持续性。 总结 DEEPSEEK对数据治理体系的影响是全方位的。它不仅提升了数据治理的效率和效果,还推动了企业在战略、组织、制度和技术层面的变革与创新。通过智能化和自动化的手段,DEEPSEEK帮助企业构建了一个更加高效、安全和可持续的数据治理体系,为企业的数字化转型提供了强有力的支持。 来源(公众号):数据治理体系
2025-02-08 10:02 86
spark sql 2.4 新增了高阶函数功能,允许在数组类型中像 scala/python 一样使用高阶函数 背景 复杂类型的数据和真实数据模型相像,但是使用sql操作较为困难,一般需要借助于 explod/collect_list 等方法,或者使用 scala / python 编写UDF,但是对每个方法都要定义并且注册,较为繁琐,其中 python udf 的性能由于需要在 JVM 和 Python 进程中进行序列化,效率更低。 例如现在有这样一种需求,对 t1 表中某个 array 字段 values 的每个元素加1 1. 只使用 sql 实现 此类方法会带来 shuffle 的开销,collect_list 也不能保证数据的顺序,同时要保证 group 字段全局唯一,否则结果会出错。 2. 使用 udf 的方式 使用 scala 定义 udf 或者使用 python 定义 udf 在 sql 中使用 udf 3. 使用高阶函数的方式 三种方式的性能对比图: 使用 Array 高阶函数 目前支持 transform / filter / exists / agregate / zip_with 方法 id arr_values nested_values 1 [1,2,3] [[1,2],[3,4]] 1. transform 对一个数组应用 function 产生另一个数组 如果 lambda function 中有两个参数,第一个参数为数组中的元素,第二个参数代表该元素的索引(从0开始) 2. filter 过滤出数组中符合条件的元素 3. exists 数组中的一个或多个元素是否满足条件 4. aggregate 给定初始值,并对数组中所有的元素都应用 function ,如果需要的话还可以加上 finish function 5. zip_with 将两个数组根据 function 合并为一个数组,较短的那个数组会以填充 null 的方式匹配较长的数组 复杂类型内置函数 spark 2.4 增加了大量的内置函数 1.array: array_distinct / array_intersect / array_union / array_except 等 2.map: map_form_arrays / map_from_entries / map_concat 3.array & map : element_at / cardinality 总结 1.spark sql 高阶函数可以避免用户维护大量的 udf ,且提高了性能,增强了复杂类型的处理能力。 2.collect_list / collect_set 返回的结构为 array ,可以直接使用高阶函数进行操作。 来源(公众号):五分钟学大数据
2025-02-07 11:00 47
在数字经济飞速发展的今天,数据资产已成为推动各行各业转型升级的重要力量。特别是在低空经济与人工智能(AI)领域,数据资产的作用尤为显著。它不仅促进了这两个领域的深度融合,还推动了相关产业的创新发展,形成了独特的“飞轮效应”。 一、数据资产:低空经济的新引擎 低空经济依托低空空域资源,以民用有人驾驶和无人驾驶航空器飞行活动为牵引,辐射带动相关领域和产业链融合发展。随着低空经济的不断发展,海量的数据资源随之产生,包括飞行数据、传感器数据、物流数据等。这些数据通过大数据技术和AI技术进行处理和分析,能够优化低空空域中的交通流量、分析无人机的飞行路径、提高飞行任务调度的精确度和效率。例如,在物流配送领域,借助先进的数据处理技术,可以精准规划出最优的低空飞行路线,从而大幅降低运输成本,同时显著提高配送的时效性。此外,通过对飞行数据的分析,还可以预测飞行器的维护需求,提前进行故障排查,确保飞行的安全性。数据资产在低空经济中的应用不仅限于此。在智慧农业、应急救援、城市治理等领域,低空数据同样发挥着重要作用。通过收集和分析这些数据,可以实现对农作物生长情况的实时监测、对灾害现场的快速响应以及对城市交通流量的智能管理。 二、AI技术:数据资产的“加速器” AI技术在低空经济中的应用,进一步放大了数据资产的价值。AI技术以其强大的数据处理和分析能力,为低空经济提供了更精准、更高效的解决方案。 在无人机领域,AI技术可以实现无人机的自主飞行、智能避障和精准导航等功能。通过对飞行数据的实时分析,AI算法可以不断优化无人机的飞行路线和速度,提高飞行的安全性和效率。同时,AI技术还可以应用于无人机的维护和故障诊断,通过数据分析预测无人机的寿命和潜在故障,提前进行维护或更换部件。 此外,AI技术还可以与低空经济中的其他技术如5G、物联网等深度融合,打造更智能、高效的低空经济生态系统。例如,基于AI的无人机编队表演、空中广告等创新应用不断涌现,为低空经济注入了新的活力。 三、数据反哺:形成“飞轮效应” 在低空经济与AI技术的融合发展中,数据资产的作用不仅仅是作为输入信息,更在于其能够通过反馈机制不断优化和提升系统的性能。这种数据反哺的效应,形成了独特的“飞轮效应”。 一方面,低空经济产生的海量数据为AI技术提供了丰富的训练素材和验证环境。通过不断学习和优化,AI算法的性能不断提升,为低空经济提供了更精准、更可靠的解决方案。 另一方面,AI技术的应用又进一步推动了低空经济的发展和创新。通过智能化的管理和决策支持,低空经济的运行效率和安全性得到了显著提升。同时,AI技术还催生了新的商业模式和产业形态,为低空经济注入了新的增长点。 这种数据反哺的“飞轮效应”,不仅推动了低空经济与AI技术的融合发展,还促进了相关产业的转型升级和创新发展。随着数字技术的不断进步和应用场景的不断拓展,这一效应将更加明显和深远。 四、展望未来:数据资产驱动的低空经济新时代 展望未来,数据资产将继续驱动低空经济进入一个新的发展阶段。随着低空空域资源的进一步开发和利用,以及AI技术的不断创新和应用,低空经济将呈现出更加多元化、智能化的特点。 一方面,低空经济将不断拓展新的应用场景和商业模式。例如,在旅游观光、空中拍摄等领域,低空数据将为用户提供更加个性化、智能化的服务体验。同时,随着低空物流、空中出行等新兴业态的发展,低空经济将成为推动产业升级和消费升级的重要力量。 另一方面,数据资产的安全和保护将成为低空经济发展中的重要议题。随着数据量的不断增加和数据应用的不断深化,数据安全和隐私保护问题将日益凸显。因此,加强数据安全管理、完善数据保护法规体系将是低空经济持续健康发展的关键保障。 综上所述,数据资产在低空经济与AI技术的融合发展中发挥着至关重要的作用。它不仅推动了这两个领域的深度融合和创新发展,还形成了独特的“飞轮效应”,为相关产业的转型升级和创新发展提供了强大动力。展望未来,随着数字技术的不断进步和应用场景的不断拓展,数据资产将继续驱动低空经济进入一个新的发展阶段,为经济社会发展注入新的活力。 来源(公众号):AI战略数字转型
2025-02-06 10:05 76
引言 当前,我国数据资源流通的“采-存-管-用”规模已基本形成,但“供-流-用-管”等环节仍存在诸多问题,具体问题如下: 数据资源供给质量参差不齐 数据资源供给水平受到数据质量、规模、结构以及采集和治理能力等多方面因素影响。不同地区、不同行业和机构在数据来源以及数据采集处理技术上存在显著差异,导致数据资源质量参差不齐,影响数据流通效率和效果。例如,一些机构或企业拥有高质量、大规模、结构化的数据资源及先进的数据采集和治理能力,而另一些则相对薄弱。这种不均衡现象在金融、医疗等领域表现得尤为突出。 数据资源流通路径不畅 传统数据流通方式面临安全与效率问题,新技术虽具潜力但尚不成熟。传统数据流通方式往往以数据包形式或明文数据API接口对接,数据安全风险高,难以保障数据所有者利益,且在数据实时处理、分析预测等方面存在局限性。例如物流行业需实时数据来优化配送路径和仓储管理,但传统技术面对海量数据效率低下,“双十一”期间快递公司因传统数据流通模式无法满足实时处理需求,导致配送效率低下、客户体验不佳。当前,隐私计算、区块链等新兴技术虽能保障数据安全流通,但技术互联互通仍面临挑战。 数据资源利用不易 数据使用方难以精准获取高价值数据且难以安全合规使用。数据供需信息不对称、数据深度分析能力不足等,导致数据使用方难以从海量数据中获取高价值数据,同时数据质量参差不齐、对原始数据深加工不足等问题导致数据整体价值不高。此外,数据安全与隐私保护技术的不成熟也制约了数据资源的高效利用。 数据安全监管不力 随着云计算、大数据及物联网技术的应用,数据生成量和存储量急剧增加,安全风险也不断增加,同时人们对数据隐私保护及安全合规需求提高,需完善法律法规并采用更高级智能的数据安全技术应对。 数据资源流通顶层理论框架设计 为了解决数据资源流通中存在的问题,实现数据资源价值最大化,迫切需要构建一套科学合理、全面系统的数据资源流通顶层理论框架。本文从全局角度出发,研究分析数据资源流通利用过程中所涉及的关键角色、流通模式等,搭建一个涵盖数据“供-流-用-管”全生命周期的顶层理论框架,为后续数据空间建设提供理论参考。 数据资源流通关键环节分析 基于数据资源流通“供得出”“流得动”“用得好”“管得住”“保安全”的需求,分析数据资源“供-流-用-管”环节涵盖的关键数据行为,以及为实现这些数据行为所需要的技术路径支撑。 供得出:数据供得出的前提是“有数”、关键是“质量”。自动识别、自动导入、自动录入、数据接口等数据采集技术可支持数据快速、高效地采集;数据清洗、数据结构化、数据标准化、数据标注、数据自动分类分级、多元异构数据融合等数据治理技术可提升数据质量;湖仓一体架构技术、云边协同等数据存储技术可保证数据高效、快捷、安全地存储和服务;最后通过编目技术等生成数据目录,为数据供出做好准备。 流得动:流得动的前提是数据要有价值,关键是要有一套可信的数据资源流通环境。数据合成、数据编织、数据分析等数据加工分析技术可有效地挖掘数据价值;数据标识、区块链、隐私计算、空间连接器、数据加密等数据资源流通技术可以确保数据资源流通环境的安全可信。 用得好:用得好的关键是数据产品与需求实现精准对接。分布式目录、数据搜索等发布索引技术,以及数据封装、数据分析、大模型等分析应用技术可支持数据产品价值释放。 管得住:管得住的核心是“安全合规”。多因素身份认证、数字签名等可信身份认证技术,信源加密、信道加密等可信传输技术,区块链、存证和证据交叉认证等存证与追溯技术,数据登记、跨域管控、数据安全审计、合规审计等监管与审计技术,共同支持数据资源流通全链条合规溯源。 数据资源流通关键角色定义 在数据资源流通面临诸多挑战的情况下,明确数据流通参与方角色职责对于构建有效的数据流通体系至关重要。本文通过研究各参与方在数据资源流通各环节的职责,设计划分五大关键角色:数据提供方作为数据源头,其数据质量和管理水平直接影响后续流通环节;数据服务方通过专业服务挖掘并提升数据价值;数据运营方则搭建平台促进交易流通;数据使用方在合规使用数据的同时反馈问题,形成新的数据资源回流给数据提供方;数据监管方监督整个流程保障权益。这些角色相互协作、相互制约,共同推动数据资源流通利用。在实际操作中,角色之间关系并非一成不变,一个组织可能承担多个角色,并且随着市场发展还可能出现新的角色。 数据提供方:负责收集、生成和管理原始数据,确保数据完整性、准确性和数据质量。制定数据共享和使用的规则条件,遵守数据安全和隐私保护的相关法规。 数据服务方:提供数据清洗、标准化、结构化等专业的数据工具和数据加工服务,建设数据专区、数据加工厂等,开发数据分析模型和算法,提供数据价值评估、质量评估、能力评估等服务,确保数据服务过程的安全性和隐私性。 数据运营方:建立合规、互信、安全的技术体系,搭建和维护数据交易和流通平台,制定数据交易规则、流程、定价机制,促进数据供需双方的对接和交易流通,释放数据价值。 数据使用方:保护数据所有者和相关主体的权益,确保数据使用的合规性和安全性。按照约定的条件和规则使用数据,对使用数据产生的结果负责。同时,反馈数据质量问题,提供改进建议。 数据监管方:监督数据流通过程中各参与方行为,保障国家数据安全和各参与方权益。处理数据滥用、侵权等违法违规行为,推动数据要素市场健康发展。 数据资源流通主要模式设计 从应用层面讲,我国数据资源流通存在应用场景丰富、多元等特点,导致数据资源流通模式复杂多样,难以统一。本文提出集中式、分布式、分级式和混合式四种数据资源流通模式,可基本覆盖国内数据资源应用场景。用户根据具体情况选择合适的流通模式,或者结合多种流通模式,以实现数据资源的最优流通。集中式流通模式依托统一数据平台,具备高度集中化管理和运营的优势,能有效保障数据交易的规范性和安全性,但存在灵活性不足等问题;分布式流通模式在特定行业或领域展现出更高的灵活性和自主性,却面临数据标准化程度和监管难度的挑战;分级式流通模式适应行政管理体制,可有效保护地方权益,但技术差异可能影响数据标准化和互操作性;混合式流通模式灵活性强,可平衡各方利益诉求,但系统设计、实施和运维复杂度较高。通过合理设计流通模式,我们能够为数据资源流通利用体系框架的搭建奠定坚实基础,进而推动数字经济的全面发展。 集中式 该模式依托统一的数据交易市场和运营平台,所有数据提供方在此平台发布数据产品,数据使用方通过平台检索、购买和获取数据,平台提供统一的定价、结算、评价等服务。集中式流通模式特点在于高度集中化的管理和运营、标准化的数据交易流程和规则,便于监管和质量控制,有利于形成统一的数据定价机制,便于实施统一的安全和隐私保护措施,可实现数据的高效匹配和大规模流通。 分布式 该模式通过数据目录进行点对点交易和数据传输,不依赖中央平台,企业可直接发布数据产品信息,数据供需双方直接进行数据流通共享。分布式流通模式在特定行业或领域具有更高的灵活性和自主性,但此种模式数据标准化程度取决于数据提供方,数据质量难以保障,且点对点的数据共享交易使得监管难度较大。分级式该模式通常按行政层级(如省、市、区)建立数据目录和交易系统,各级系统之间建立连接,实现跨级数据共享流通。层级化的数据管理和流通体系可对不同层级的数据实施差异化管理。分级式流通模式可更好地适应各地行政管理体制,保护地方权益,但不同级别的系统可能存在技术差异,影响数据标准化和互操作性。 混合式 该模式可根据实际需求在不同领域或层面采用不同模式进行互联互通,如省市层面采用集中式、行业内部采用分布式、行政区域采用分级式,同时通过统一标准和接口实现不同模式间的互联互通。混合式流通模式灵活性强,能平衡各方利益诉求,可根据具体情况选择最优方案,并逐步演进以适应不同发展阶段的需求。但混合式流通模式的系统设计、实施和运维的复杂度较高,需要更高水平的管理和协调能力。 结论 本文通过剖析数据资源“供-流-用-管”流程面临的问题,从全局角度构建数据资源流通顶层理论框架。分析数据资源流通的关键环节并明确各环节的技术支撑,确保数据流通各阶段顺利进行;定义数据资源流通的关键角色,明确个体角色职责,保障流通体系有效运转;设计集中式、分布式、分级式和混合式四种数据资源流通模式以满足不同数据流通场景需求。此框架的建立为后续数据空间建设提供了理论参考,有助于提升数据资源的流通效率,推动数字经济健康、高效地发展。 来源(公众号):数据治理体系
2025-02-05 17:45 48
目录 1.大模型对多源异构数据的渴求 2.大模型数据处理流程 3.行业实践:GPT背后的数据体系 一、大模型对多源异构数据的渴求 大模型如GPT-3、PaLM、OPT等,其超大规模参数(百亿到万亿量级)需要海量数据支撑。单一数据源难以满足如此规模的数据需求,必须开辟多元数据源。而异构数据源的融合利用,对数据工程提出更高要求。让我们深入几类主要数据源的采集技术细节。 1. 爬虫技术:数据采集 对于文本大模型而言,网络文本语料可谓取之不尽。以GPT-3模型为例,仅Common Crawl一项就采集了4年,近800GB的原始网页数据。网络爬虫技术是采集如此规模语料的主力军。主流的爬虫系统可分为以下几类: 1)通用爬虫:如Scrapy、Heritrix等,采用广度优先策略,从若干Seed URL出发,递归爬取后继链接,直至达到停止条件。 通用爬虫的优势在于覆盖广,适合爬取海量页面组成通用语料库。但因缺乏领域针对性,难以保证信噪比。为了从爬取过程中动态调整策略,出现了一些智能化爬虫: Reinforcement Crawler:将下载过程建模为强化学习,Agent通过Trial-and-Error不断优化策略,以获取高质量页面。 Learning Crawler:通过文本分类、聚类等模型自动甄别页面质量。微软曾提出ACHE等学习型爬虫框架。 此外,为了对抗反爬,通用爬虫往往需要庞大的IP代理池轮换请求,并处理好频控、Cookie等问题。对于登录页面,还需要自动化登陆流程。这也进一步提高了工程难度。 2)垂直爬虫:针对特定网站定制的爬虫,如新浪微博爬虫、抖音爬虫等。其特点是利用Xpath、CSS选择器等方式,精准提取页面关键信息。如判别一个微博账号是否为僵尸粉,可提取其粉丝数、互动数等特征。 垂直爬虫的价值在于,充分利用了页面结构信息,数据准度更高。同时还可根据业务逻辑设置参数,如只爬取财经新闻,营销类微博等。另外,很多反爬技术如字体反爬、JS加密都针对通用爬虫,垂直爬虫可通过定制规避。但其缺点也很明显:适用范围窄,通用性差。每个网站要单独定制,开发成本高。如果网站频繁改版,规则还需跟着升级。这限制了其批量生产的能力。 3)动态爬虫:传统爬虫直接请求URL,返回HTML,只能获取静态页面。但当今很多网站采用AJAX、Vue等前后端分离技术,页面通过JS动态加载,给爬虫带来不小挑战。 为了爬取动态网页,出现了一系列动态渲染爬虫。典型方案有: i 无头浏览器:Headless Chrome/Firefox等,在无UI的环境下模拟真实浏览器行为。可执行JS获取动态内容。 ii WebDriver:Selenium等自动化测试框架,通过编程控制原生浏览器。如PhantomJS、Pyppeteer等。 iii HTTP拦截:Charles、Fiddler等抓包工具,拦截XHR请求,直接获取Ajax数据。 动态爬虫在众多场景下不可或缺,如电商比价、舆情监测都离不开其支持。动态爬虫的缺点是:启动浏览器内核开销大,性能远不及静态爬虫;被反爬风险也更大。 另外,为了提高爬虫的鲁棒性,往往需要引入代理调度中间件如Crawlera,处理好流量控制、故障转移、任务调度等。主流的分布式爬虫框架包括:Frontera、Scrapy-Redis、DistributedCrawler等。 需要强调的是,爬虫作为公网数据获取的主要手段,必须严格遵守Robots协议,合法合规地开展数据采集。对版权数据更应谨慎对待,必要时需要获得站长授权。总的来说,开发一套高质高效且合规的爬虫系统绝非易事,需要综合软硬件、法务等多方面考量。 2. 语音视频大数据的采集与挖掘 随着多模态大模型的崛起,语音、视频数据的重要性愈发凸显。如微软的Tango、Meta的CAIRa等大模型,都需要大量带文本标注的语音视频数据。让我们看看这一领域的主流数据采集方案: 1) 视频网站批量下载:YouTube、BiliBili等视频网站拥有海量UGC视频,是语音视频数据的重要来源。批量下载工具主要分两类: i 站点视频下载器:You-Get、Youtube-dl等,支持数百个主流站点。缺点是不能批量下载,也不能定制视频清晰度等参数。 ii 站点视频爬虫:利用爬虫框架如Scrapy,批量获取视频链接,结合ffmpeg等下载。可完全定制下载策略。一般采用站点视频爬虫方式,获取元数据如标题、简介构成配套的文本语料。下载后的视频还需经过内容审核,滤除低质、违规视频。这需要借助于视频内容理解、NSFW检测等AI技术。 2) 音视频众包:与文本类似,带标注的语音数据也离不开众包。但相比文本,语音标注的成本更高,专业性更强。需要标注人员同时具备语言和领域知识,才能准确转写专业词汇缩写等。 另一方面,语音数据的隐私性更强。众包过程必须对原始数据进行脱敏,去除涉及隐私的片段。同时要对标注人员的背景进行审查,签署保密协议。一些敏感领域的语音数据如军事、医疗,必须在内部完成标注,不能对外众包。 Mozilla的Common Voice就是一个优秀的语音数据开源项目。通过志愿者在线录制并验证,目前已收集了100+语种,数千小时的语音数据。阿里、搜狗等国内企业也通过用户手机App、输入法等工具,积累了大规模中文语音数据集。 一提到语音数据采集,ASR(语音识别)是绕不开的话题。近年来,ASR技术快速发展,为语音文本数据的自动化生产提供了可能。如利用Kaldi、Wav2Letter等开源工具包,可对语音数据进行自动转写,大幅降低人工转写成本。当然,ASR转写仍难以完全替代人工,尤其是方言、口音较重的语音。一种常见做法是,先由ASR粗略转写,再由人工校对修订。阿里等企业在其语音助手中大量采用这一方案。 除了语音转写,语音数据的降噪、分割也是重要的预处理环节。工业级的语音处理流水线需要包括: i 静音检测:Webrtc的VAD、TensorFlowVAD等,滤除无效静音片段。 ii 回声消除:Speex、WebRTC等,去除线路回声干扰。 iii 语音降噪:Audacity、Sox等,去除背景噪音。 iv 说话人分离:Conv-TasNet、DPRNN等,将多人语音分离为独立音轨。 视频数据的采集要复杂得多。原因有二:一是视频数据规模更大,采集成本高。二是视频语义信息更丰富,需要更复杂的处理。主要的视频数据采集方法包括: i 专业采集:搭建视频采集棚,由专业人员拍摄制作。数据质量有保障,但成本很高。一些自动驾驶公司采用此方案采集路测视频。 ii 众包采集:利用视频众包平台,如AWS的Mechanical Turk,发布拍摄任务。质量略逊于专业采集,但成本更低,更适合通用数据采集。 iii 监控视频采集:从已有监控系统提取视频数据。如商汤科技从社区监控采集人流、车流数据。这种方式成本最低,但对数据隐私和版权要格外小心。 采集到的原始视频需经过一系列预处理,才能输入到视觉算法中。主要的视频预处理技术包括:关键帧提取: i 提取关键帧,滤除冗余帧。如PySceneDetect、Frame-Extractor等。 ii 目标检测:检测并定位视频中的目标物体。如YOLOv5、EfficientDet等。 iii 目标跟踪:在不同帧间标识同一目标物体。如DeepSORT、FairMOT等。 iv 动作识别:识别视频中的人物动作。如TSN、X3D等。经过这些处理,原始视频被结构化为一系列带标注的图像和物体轨迹,为下游任务如视频分类、问答奠定了基础。可以说,高效采集语音视频数据离不开AI本身。数据采集和模型训练相互促进,形成正向循环,这是多模态AI发展的内在逻辑。 3. 知识图谱:结构化知识库 知识图谱是以RDF三元组形式,系统描述概念、实体及其关系的语义网络。知识图谱是认知智能的重要基础,如智能问答、推荐系统等都依赖其支持。知识图谱构建的第一步,是海量网页文本中提取实体和关系,形成初步的实体关系图。这一过程也称为知识抽取,技术路线主要有: 1) 基于模板的知识抽取: i 手工模板:专家定义一系列模板,如"A是B的C"等。该方法构建成本高,覆盖面窄,仅适用于特定领域。 ii 自动模板:利用Snowball、DIPRE等算法自动生成模板。先由少数种子实例出发,迭代学习新模板和新实例。 2) 基于深度学习的知识抽取: i 命名实体识别:利用BiLSTM-CRF、BERT等模型识别句中的命名实体,如人名、地名等。 ii 关系分类:判断两个实体间是否存在预定义的关系类型。常用CNN、BERT等方法。 iii 属性抽取:从文本中抽取实体的属性值,如时间、数量等。 工业界知识抽取常采用基于深度学习的方法,再结合规则进行校验补充。如阿里知识图谱从百科、电商等网页中抽取了数亿实体,定义了数百种关系、数千种属性类型。 抽取得到的原始知识还很粗糙,需要一系列优化过程,包括: i 指代消解:将代词、同义词等映射到规范实体。 ii 实体统一:发现不同来源的重复实体,消除冗余。 iii 知识融合:发现不同模板抽取的重复关系,选取置信度高的关系。 iv 知识推理:利用规则学习算法,挖掘隐含关系。 此外,还需将知识图谱与本体进行映射,赋予知识更明确的语义。本体构建一般采用人工方法,由领域专家定义核心概念、关系。对于通用领域,也可复用WordNet、Cyc等现有本体资源。 传统知识图谱以结构化为主,但近年来出现了众多图谱预训练语言模型如ERNIE、CoLAKE等。它们采用类似Word2Vec的方式,通过知识图谱中的随机游走序列,学习节点和关系的语义嵌入表示。这种做法融合了知识图谱的结构信息和文本语料的语义信息,为知识表示开辟了新的方向。 知识图谱数据的采集与应用密不可分。如智能音箱领域,需要采集语音-文本-意图-动作-反馈等多环节数据,并形成知识闭环。这对数据治理提出了更高要求。需要打通数据采集、存储、计算、应用的全链路,实现数据的自动化、智能化管理。 4. 行为数据采集 行为数据指用户在使用产品过程中产生的数字足迹,包括浏览、点击、评论等用户事件。相比其他数据源,行为数据最能反映用户的真实意图和偏好,对个性化服务至关重要。以推荐系统为例,其核心是根据用户历史行为预测用户对新物品的兴趣。用户行为数据可分为以下几类: 1) 用户属性数据:人口统计属性如年龄、性别、地域等,以及兴趣偏好标签。一般由用户在注册、填写问卷时显式提供。 2) 用户交互数据:用户与物品的直接交互,如浏览、收藏、购买商品,观看、点赞视频等。交互数据直接反映了用户对物品的兴趣,是推荐系统的核心数据源。 3) 用户社交数据:用户在社交网络中的关系链数据,如好友、关注、提及等。基于同质性原理,近朱者赤,用户的社交网络能揭示其兴趣和影响力。 4) 用户反馈数据:用户对推荐物品的显式反馈,如评分、点赞、评论等。反馈数据相比交互数据更稀疏,但对提升推荐质量很重要。 5) 场景数据:如时间、地点、设备等用户当前的环境因素。场景因素会影响用户的即时需求,是上下文相关推荐的关键。 用户行为数据采集的主要途径包括: 1) 服务器日志:用户与应用服务器的每次交互,都会在服务端日志中留下记录。日志采集工具如Flume、Logstash等能实时收集海量日志,并存入HDFS等分布式存储。 2) 客户端埋点:在客户端预置采集代码,触发特定事件时上报数据。相比服务端日志,客户端埋点更灵活,数据粒度更细。典型的埋点SDK有GrowingIO、Sensors等。 3) 应用内Tracker:应用内置的行为跟踪器,如Android的Tracker、iOS的AppTrackingTransparency等。相比埋点,Tracker的接入更简单,但定制化程度较低。 4) 可视化埋点:通过类似Selenium的自动化工具,记录用户在应用页面的操作轨迹。相比代码埋点,可视化埋点的实施成本更低,非常适合中小企业。 值得注意的是,不同采集渠道的行为数据在格式和语义上往往不一致,需要通过数据集成进行统一。ETL工具如DataX、Kettle,以及大数据平台Hive、Spark SQL等是常用的数据集成方案。集成后的行为数据在进入推荐流程前,还需经过一系列数据预处理,如: i 数据清洗:剔除非法数据,如机器刷单产生的异常点击。可基于统计规则,或异常检测算法。 ii 会话重构:将原子事件按照时序关联为会话,挖掘用户的主导目的。 iii 序列建模:对会话序列提取高阶统计特征,如购买高峰时段,品类偏好等。 如此经过采集、集成、处理的行为数据才能为算法建模所用。从原始数据到可用特征,往往要经过数十个环节的数据开发。阿里等大厂为此构建了灵活的大数据开发平台如Databricks,提供从数据接入、存储,到计算、应用的一站式解决方案。另一个值得关注的趋势是,利用在线学习、强化学习等技术,构建实时闭环的行为数据采集和应用。典型如广告系统,利用实时竞价获得用户反馈,动态调整出价策略。强化学习算法DQN、LinUCB等在此发挥了重要作用。阿里的智能调度平台Sigma,腾讯的广告投放引擎Vega都大量采用此类技术。 可以预见,随着用户互动方式的日益多样,对行为数据的采集分析能力,将成为企业数字化转型的核心竞争力。这不仅需要前沿的AI算法,更离不开端到端的数据智能架构。唯有打通全流程、全域数据,才能洞察用户需求,驱动业务增长。这是以用户为核心的数字化时代的必然要求。 二、大模型数据处理流程 了解了大模型对海量异构数据的渴求,让我们再来看看工业界是如何驾驭这些数据的。以下是一个典型的大规模机器学习数据开发流程: 1. 数据接入层 原始数据散落在业务库、日志、爬虫数据等各个系统,需要通过数据接入统一集成到大数据平台。数据接入的关键是如何平衡数据时效性和成本。对于实时性要求高的数据,常采用流式数据管道,通过Kafka、Pulsar等消息队列实时推送。LinkedIn的Brooklin、阿里的Canal、Facebook的Wormhole都是优秀的流数据集成框架。对于离线数据,则采用批量同步的方式,通过调度系统按天/小时增量拉取。如阿里的DataWorks、美团的Minos、360的Eleme等。进入大数据平台的原始数据一般存于Hadoop HDFS、云存储如S3等廉价存储介质。但这些数据往往杂乱无章,需要严格的数据治理。数据治理的核心是元数据管理,记录数据的业务口径、技术参数、血缘关系等。Atlas、阿里的Dataphin等是常见的元数据管理平台。 2. 数据处理层 原始数据"入湖"后还很粗糙,需经过系列加工处理,如数据清洗、数据集成、数据变换等,形成结构化、语义化的高价值数据集。 清洗过程通过一系列 detect-repair 操作,识别并纠正脏数据。常见数据质量问题包括:完整性(字段缺失)、唯一性(重复记录)、合法性(越界值)、一致性(逻辑矛盾)等。传统ETL采用SQL手工编写转换逻辑,对数据量大、Schema复杂的场景难以应对。基于 DAG 的 ETL 框架应运而生,如Airflow、阿里的DataWorks等。 它们将ETL流程抽象为有向无环图,每个节点完成特定转换,后一节点严格依赖前节点输出。DAG架构使ETL流程灵活可配置,极大提升了数据处理效率。Spark、Flink等分布式计算引擎在数据处理中扮演核心角色。它们基于内存计算,可实现比Hadoop MapReduce快数十倍的批流处理。 Spark的DataFrame、Flink的Table API进一步简化了分布式计算的编程复杂度,使数据开发像SQL一样简单。数据处理的一个重要目标是形成主题域的业务数据模型,如用户域、商品域等。阿里提出的数据中台概念,本质上就是一套统一、共享的业务数据模型,为上层应用提供标准化数据服务。 工业界数据处理的一个重要趋势是向云上迁移。云厂商如AWS、阿里云纷纷推出大数据平台产品,将存储、计算、调度打包提供。用户可按需按量付费,显著降低了总拥有成本。同时云服务的弹性伸缩能力,可轻松应对双十一等洪峰流量,这是传统私有集群难以企及的。 3. 特征工程 数据经过清洗、集成、ETL,离可用于机器学习尚有最后一步,即抽取有判别力的特征。特征工程往往决定了机器学习的效果上限。 特征抽取要因任务而异。如排序类任务关注物品之间的相对顺序,特征多基于统计量如CTR、转化率等。推荐类任务重在刻画用户兴趣,特征侧重于交互序列、共现频率等。搜索类任务需捕捉query-doc相关性,特征多围绕文本相似度、语义匹配展开。 常见的特征抽取方法有: 1)统计特征:如均值、方差、百分位等,刻画数据的集中趋势、离散程度等。 2)频次特征:如TF-IDF、人工定义的业务频次等,反映事件发生的频繁程度。 3)交叉特征:将多个特征组合形成的高阶特征,挖掘特征间的非线性关系。如年龄 X 性别 X 职业。 4)嵌入特征:将高维稀疏的 ID 类特征压缩为低维稠密向量,如word2vec、node2vec等。 5)图特征:挖掘社交网络中的节点重要性、社区结构等,如PageRank、社区发现等。 传统的特征抽取高度依赖专家经验,存在成本高、迭代慢等问题。自动特征工程应运而生,通过机器自动生成、筛选特征。其代表方法有: 1) 深度学习:利用CNN、RNN等自动学习层级特征表示。如PNN、DeepFM等。 2) 表示学习:通过随机游走在异构网络中学习节点嵌入。如Airbnb的Embedding一体化平台。 3) AutoML:自动化机器学习流程,包括超参调优、神经网络架构搜索(NAS)等。如阿里的PAI、腾讯的 Angel 等。 自动特征工程是AI驱动数据开发的重要方向,相比人工,其优势在于:覆盖率高,可自动挖掘高阶组合特征;迭代快,新数据的特征快速上线;适应性强,可端到端优化适应下游任务。当然,自动化方法并非灵丹妙药,关键特征的生成仍离不开对业务的理解和抽象。 抽取的原始特征还需经过特征选择,去除冗余和共线性特征。常用方法有平均精度、递归特征消除等。此外,对数值特征还要进行归一化,将不同尺度的特征映射到同一量纲。如Min-Max归一化、Z-score归一化等。对类别特征还要进行编码,如One-Hot 编码、Target 编码等,使其满足机器学习算法的输入需求。 特征工程是算法与业务结合的纽带,往往是数据开发最费时费力的环节。阿里的特征平台、美团的Cube就是为了应对特征工程而生。它们建立统一的特征仓库,为不同业务提供特征注册、存储、共享、监控等一站式服务。打通线上线下环境,实现特征的自动化生产。这大大提升了算法迭代效率,也促进了特征在业务间的复用。 4. 样本构建 万事俱备,只欠东风。模型训练的最后一环,是从特征中抽取样本(X,y)。X是特征向量,y是目标标签。样本构建要考虑以下几点: 1) 样本代表性:抽样要均匀覆盖目标人群,避免选择偏差。如分层抽样、配额抽样等。 2) 样本平衡性:各类样本的数量要均衡,避免稀有类被忽略。如过采样、欠采样等。 3) 样本时效性:在线学习场景要注意样本的新鲜度,及时淘汰过期样本。如Time-Decay采样等。 4) 样本数据干净,无各种异常点、离群值。不合理的样本会引入噪音干扰模型训练。 工业界样本构建一般基于数据平台的调度框架,如Airflow、Oozie等。它们以DAG工作流形式描述样本构建过程,自动化执行抽样、特征提取、数据合并等步骤。阿里的样本工厂、腾讯的Metis都是这一思路的优秀实践。样本构建是算法上线的最后一环,对效果影响重大。样本不当,再好的算法也难施展拳脚。谷歌用10%流量进行在线A/B实验,就是为了获得高质量的样本反馈。 样本的标签质量尤为重要,标注不一致、噪音过大都会严重影响模型效果。众包标注平台如Figure-Eight等,通过任务拆分、交叉验证等方式,保障标注质量。 总之,大模型背后是一整套严密的数据工程。从数据接入到样本构建,每一步都关系着最终效果。阿里的特征平台、腾讯的丰巢等,无不在打造端到端一体化的特征开发利用链路。它们屏蔽了数据处理的繁琐细节,让算法工程师聚焦于模型本身。这是AI驱动业务发展的大势所趋。 三、行业实践:GPT背后的数据体系 理论讲完,让我们再来看看这些方法在OpenAI GPT-3中的实践。GPT-3的训练数据高达4500亿token,约800G文本。这在当时是前所未有的规模。那么,这些数据是怎样获取、处理,最终喂给模型的呢? 1. 数据源:高质量网页语料 GPT-3使用了以下几个主要语料库: 1) Common Crawl(60%):一个开放的网页爬取项目,GPT-3使用了其2016-2019年间的快照数据。CC数据广泛但噪音大,需大量清洗。 2) WebText2(22%):从Reddit帖子外链的高质量网页构建。先从8亿条Reddit帖中抽取karma>3的帖子,再提取帖中的URL,获得4000万个高质量网页。相比CC,WebText噪音小,但覆盖面窄。 3) Books1 & Books2(8%):两个图书语料,前者多为版权过期的古籍,后者为网络图书。书籍语料连贯性强,但话题单一。 4) Wikipedia(3%):英文维基2020/03版全部文章。百科有较强的权威性和连贯性,但缺乏口语化表达。 此外还有5%的其他数据,如谷歌新闻等。可见,GPT-3的语料以网页为主,注重了数据质量,但话题和文体的全面性有欠缺。这导致其在一些特定领域表现不佳。 2. 数据清洗:以规模换质量 GPT-3没有对数据做太多复杂处理。原始HTML用Hadoop集群批量提取正文、分句,再过滤掉低质内容,如:太长或太短的文档(<128字或>1M字)、重复度高的文档(如模板广告页)、低可读性文档(如代码、表格等)、非英语文档 之后,所有文本被BiT模型编码为token,组成最终的训练语料。值得一提的是,为了避免不同来源文本的分布差异,GPT-3对所有文档的采样概率做了平滑,削弱了高质量但话题单一的语料的影响。 这样的数据清洗流程其实颇为粗放。OpenAI也承认质量是GPT-3语料的短板。但凭借超大规模,GPT-3最终还是学到了强大的语言模型。这或许印证了"以量变达质变"的哲学。 3. 模型训练:混合精度+Kernel优化 GPT-3的训练过程主要有以下特点: 1) 预训练+微调:先在全量语料上预训练Language Model,再在下游任务数据上微调。这种迁移学习典型的two-stage方法。 2) 混合精度训练:用FP16和FP32 Tensor混合表示模型参数。FP16可减少显存占用,加快训练,但部分layers如Softmax仍用FP32保证数值稳定性。 3) 显存优化:只在GPU上保留当前mini-batch所需的参数和梯度,其他parameters存于CPU内存。使训练可在单卡GPU上进行。 4) Kernel优化:用NVIDIA的cuBLAS库优化矩阵乘等关键运算,提高GPU利用率。 5) 梯度检查点:每隔一定step保存梯度,节省前向传播时的显存。该技巧常用于训练大batch尺寸。 OpenAI表示,3000亿参数的GPT-3模型完成训练仅用了10天,平均算力利用率高达50%。这得益于上述一系列性能优化。但仍有学者质疑,仅靠优化很难如此高效,期间是否有预训练参数的迁移复用? OpenAI对此未置可否。 4. 推理部署:API形式对外开放 与BERT等开源模型不同,GPT-3并未公开模型checkpoint。相反,OpenAI以API形式提供模型调用。开发者可以通过API接口,用少量样本在特定任务上 fine-tune GPT-3,并将训练的提示(prompt)保存在云端。 这种 API as Model 的部署方式有几点好处: 1) 模型IP易于保护。用户无法获取GPT-3底层参数,避免了被clone、滥用的风险。 2) 计算资源易于管理。所有任务调度、资源分配由云端统一控制,避免终端设备算力浪费。 3) 模型持续优化。用户上传的数据、反馈可用于持续训练模型,API升级也更方便。 当然,这也存在一些隐忧: 1) 推理延迟较高。所有请求都要通过远程API,难以应对实时性要求高的场景。 2) 隐私安全存疑。用户数据会上传至OpenAI服务器,隐私保护措施尚不明确。 3) 定价不够灵活。目前仅按API调用次数计费,对中大用户缺乏针对性优惠。 一些研究者还尝试了基于梯度Checkpoint、GPU集群的推理加速方案,但尚未在生产中得到验证。如何在云端高效、经济地 Serving 大模型,仍是一个开放的挑战。GPT-3背后是一整套数据智能架构。从数据采集、清洗到特征抽取、样本构建,再到训练优化、推理部署。每个环节都离不开大数据、分布式计算等前沿技术的加持。这是对工业界机器学习落地能力的一次集中检验。 来源(公众号):DATA数据社区
2025-01-24 16:08 89
热门文章