2022-11-28 07:30 浏览量:404
对于数据驱动的企业,数据治理已不再是一种选择——而是必需品。企业越来越依赖数据治理来管理数据的策略、数据合规性和数据质量。
由于这些原因,企业的数据治理方法至关重要。领导者必须考虑哪种类型的治理最适合业务需求和目标,企业在数据治理方法方面有选择权。
常见的传统数据治理(或称被动数据治理)主要通过风险的视角来感知数据,从而数据的合规性风险以及对数据质量进行预警。为了降低数据使用的风险,这种方法强制规定了数据的使用规则,包括谁可以做什么而不能做什么。企业分配了新角色,而很少考虑当前谁在做什么。这种方式,传统数据治理忽略了一个简单的事实,而使其数据治理计划失败,那就是——他们已经在治理数据,而最佳的治理应是融合在日常的流程中!
相比之下,主动数据治理是在人类行为中实施数据治理工作的新模式。人工智能和机器学习将这些行动具体化为一个所有人都可以看到的共享过程。没有强加于人的结构。相反,结构是从当前行为中浮现出来的,而工作流程不间断。
通过这种方式,通过积极主动的治理,速度更快、响应更敏捷。这就是为什么许多企业正在从被动转向主动数据治理计划。
01 数据民主化
数据民主化是使信息系统的普通非技术用户可以访问数字信息的过程,而无需 IT 参与。它是自助分析的基础,这种方法允许这些非技术用户(即:业务线人员)收集和分析数据,而无需寻求数据管理员、系统管理员或 IT 人员的帮助。
主动数据治理优先考虑数据民主化。这种方法不是将数据锁定在需要它的人之外,而是欢迎更多用户使用数据——但增加了指导使用的“护栏”,即:对产品的能力要求较高。例如:自动化预警、自动SQL和质量标志是“护栏功能”的典型用例。它们可以防止人们错误地使用数据,并指导合规使用,从而降低违规风险。
监管压力越来越大。欧盟的 GDPR、美国的 CCPA、中国的数据安全法、个人信息保护法要求正确合规的使用数据,并对违规者处以巨额罚款。企业必须遵守合规和隐私准则,否则将面临巨额罚款。然而,这些法规不断变化,新的更新需要不断地使用新的使用模式。
传统的数据治理不具备快速适应新法规的灵活性。在不断变化的世界中,主动数据治理会实时调整,以促进信息流向需要的人。数据民主化是积极治理的关键支柱,因为它使人们能够访问最佳数据,并邀请他们无所畏惧地使用它。
02 传统数据治理的常见陷阱
传统的数据治理是一种数据优先的治理方法。这种传统方法缺乏响应数据用户需求的流动性——或者在新法规出现时适应新法规的灵活性。传统数据治理方法概述了用户角色、创建数据标准、分配责任并创建企业范围的数据策略。因为它强调对数据的控制,这种方法威胁数据文化的情况并不少见。
这种对数据控制的传统方式削弱了团队协作。事实上,这种传统的治理模式制定了僵化的政策,常常疏远甚至吓倒数据工作者。在使用任何特定数据集之前,人们必须参考文档。类似一揽子的政策会产生额外的任务,从而降低整体效率。人们被要求遵守复杂的规则,“否则” ……
在这种恐惧的气氛中,人们做出“战斗或逃跑”的反应并不罕见。许多人没有遵循复杂的数据集使用规则,而是完全放弃了该数据。其他人可能会在数据管理和使用方面变得咄咄逼人。许多人将传统方法称为“命令和控制”风格,是有原因的。
随着数据治理成为一种负担,数据分析师的工作效率会下降,这通常会导致数据质量下降。然而,实施正确的治理模型可以在支持企业发展方面发挥重要作用。如果分析师和其他数据用户得到与他们一起工作的治理策略的支持,则可以在收集、存储和分析的整个周期内保持数据质量。
03 为什么要从传统数据治理转向主动数据治理?
什么决定了被动/传统模型与主动治理模型的好坏?需求因业务而异。有一点是肯定的:传统方法是一种广泛的、孤立的方法,不会将数据用户带入涉及治理的领域。
数据不是一成不变的,它必须在一个连续的过程中进行改进。同样,有效的数据治理必须随着时间的推移进行调整和改进。今天的数据治理必须采用敏捷的 DevOps 思维并建立在机器学习的基础上,这样随着时间的推移,它会以更少的努力变得更好。
主动数据治理通过在使用点显示策略和护栏来取得成功。这种非侵入性方法意味着人们在处理数据时了解治理最佳实践。此外,机器学习检测人类行为模式,这些模式表明工作中的数据治理过程。管理员会注意这种模式,他们可以反过来提醒他们的团队,因为他们正式制定了一个已经在实践中的流程。
通过将数据用户纳入决策制定,整体购买增加,这导致治理人员和前端用户之间加强合作。这允许一组自适应策略,可以随着业务需求的变化而持续优化。实际上,从传统数据治理到主动数据治理的转变将您的治理方法从被动变为主动。
主动治理是一种“秀而不说”的方法。人们在使用数据时天生就在管理数据;但是,它没有正式化。灵活的模型使用数据目录来规范这些流程,而不会影响数据用户的工作流程。通过关注人的行为而不是数据,可以完全消除数据流转循环中的错误。
随着数据用户遵循工作流程中的指南,安全性和隐私性的改进也会增加。主动数据治理支持迭代过程,以便数据用户和管理者制定推进公司目标并牢记员工利益的政策。
04 主动数据治理有什么不同,有哪些特点?
通过盘点、分类和管理数据和知识,主动数据治理为企业数据资产提供了无与伦比的可见性。与耗时的自上而下的孤立方法相比,主动数据治理使企业能够将其治理工作集中在最关键的数据资产上,以便对业务产生最大的影响。
主动数据治理支持对数据治理策略、工作流和标准的敏捷批准和沟通。通过提供分析和仪表板来监控和跟踪策展进度,主动数据治理使治理团队能够优先考虑他们的工作。
主动数据治理没有限制业务线用户使用数据,而是将治理、协作和通信功能直接放入他们的日常工作流程中,以鼓励准确、合规的数据驱动决策。
主动数据治理平台将机器学习和众包相结合,以自动化和加速数据管理、数据分类、业务词汇表和数据质量文档。
主动数据治理平台对数据质量指标、描述和仪表板进行编目,并在消费和分析点实时向消费者展示数据质量信息。借助触手可及的数据分析信息,数据消费者可以看到有关数据的重要特征、统计数据和数字图表,从而使他们能够自信地快速采取行动。
主动数据治理平台提供数据血缘可帮助用户了解数据的来源、使用者以及使用方式。而且,通过影响分析报告,用户可以全面了解变更的下游影响——帮助主动降低风险。
05 如何从传统数据治理转向主动数据治理
虽然可以清楚地看到主动数据治理模型的大量机会,但改变现有流程并不总是那么容易。以下是加速您的企业向主动数据治理过渡的一些友情提示:
实施数据目录以轻松组织并为员工处理的数据添加上下文,数据目录使您的员工可以轻松查找、理解和信任数据。
提供尽可能多的信息以使数据更易于信任。
使用数据目录为您的数据分析师和科学家腾出时间,从而减轻耗时的任务,例如:无休止的数据争论,让人们有更多时间进行分析和科学处理。
通过正式化元数据责任来提高数据质量。因为,数据不会自行管理。
聘请业务专家和技术专家。让他们参与提供与您的新过渡相一致的数据文化。向所有团队澄清目标是提高对数据的信任,这将提高您对彼此的信任。
写在最后的话
改变企业的数据治理模型不仅仅是改变数据处理方式。事实上,您对数据作为资产的态度,以及您对使用它的人的看法,都出现在您的数据治理方法中。您是否相信您的员工会做正确的事情(在指导下)?您是否相信您企业中的人们想要对数据做正确的事情?
如果是这样,那么主动数据治理就适合您。这种方法通过民主化访问来优先考虑数据用户和数据之间的关系。数据民主化,本着社区协作的精神,欢迎人们使用数据。它向他们展示了如何在合规的框架内智能地处理数据。它将信任置于恐惧之上。
如果做得好,积极的数据治理可以增强数据文化。在您的企业,已经有人具备实施和传达这些变化的能力。一种积极的方法将激活这些人,并正式确定围绕数据的责任,让所有人都能看到。
随着社会越来越依赖数据,数据的采集量将继续增长。
为了跟上步伐,我们必须迅速行动!
我们必须使数据访问民主化!
我们必须保持积极的态度!
来源:大数据架构师
作者 :Awais Ahsan