2022-08-15 07:30 浏览量:421
现代商业银行日常经营活动中积累了大量数据,这些数据除了支持银行前台业务流程运转之外,越来越多地被用于决策支持领域,风险控制、产品定价、绩效考核等管理决策过程也都需要大量高质量数据支持。银行日常经营决策过程的背后,实质是数据的生产、传递和利用过程。
此外,日益全面的和严格的监管措施和信息披露要求,也对银行数据提出了前所未有的挑战。如果不能对这些数据进行有效管理,其价值就得不到很好体现,甚至会给运营管理带来负面作用,具体表现为:
01 数据治理体系简介
数据治理是为满足企业内部信息需求,提升企业信息服务水准而制定的相关流程、政策、标准以及相关技术手段,用于保证信息的可用性、可获取性、高质量、一致性以及安全性。数据治理体系建设的目的,是建立数据拥有者、使用者、数据以及支撑系统之间的和谐互补关系,从全企业视角协调、统领各个层面的数据管理工作,确保内部各类人员能够得到及时、准确的数据支持和服务。通常认为,数据治理至少应当涵盖如下功能域:数据质量管理、元数据管理、数据标准管理数据安全管理和主数据管理,现对上述功能域说明如下:
1.数据质量管理
对支持业务需求的数据进行全面质量管理,通过数据质量相关管理办法、组织、流程、评价考核规则的制定,及时发现并解决数据质量问题,提升数据的完整性、及时性、准确性及一致性,提升业务价值。
2.元数据管理
元数据是关于数据的数据,即对数据的描述信息。根据其属性的不同,元数据可分为技术元数据和业务元数据。元数据管理是元数据的定义、收集、管理和发布的方法、工具及流程的集合,通过完成对相关业务元数据及技术元数据的集成及应用,提供数据路径、数据归属信息,并对业务术语、文档进行集中管理,借助变更报告、影响分析以及业务术语管理等应用, 以此保证数据的完整性、控制数据质量、减少业务术语歧义和建立业务人员之间、技术人员之间,以及双方的沟通平台。
3.数据标准管理
通过建立一整套数据规范、管控流程和技术工具来确保银行各种重要信息,包括产品、客户、机构、账户等信息在全行内外使用和交换的一致和准确。数据标准可分为技术标准和业务标准。
4.数据安全管理
通过建立对数据及相关信息系统进行保护的一系列措施, 确保数据免遭未经授权的访问、使用、修改或删除,保证数据完整性、保密性和可用性,具体可分为管理和技术两大类措施。
5.主数据管理
主数据指描述核心业务实体的数据,如客户、机构、员工、产品等。这些数据变化相对缓慢并通常在企业内跨业务重复使用。主数据管理适用于管理、协调、监控与企业主要业务实体相关联的主数据的一系列规则、技术、应用、策略和程序。
02 数据质量管理简介
业界普遍认可的数据质量定义为数据对其期望目的的适合度,即数据质量管理生命周期及其相关的数据质量管理流程,都要为确保数据满足其自身预期目标提供相应的方法和手段。
下列要素是进行数据质量管理的基础:
银行关注的常见数据质量问题可以归成如下7类:
1.定义缺失,指缺少关键业务元素定义,导致对同一字段的理解偏差。例如,
什么是“一个客户”,不同业务有不同理解,通常风险应用将组织机构号作为对公客户的“身份证”,一个组织机构号代表一个客户;而核心系统对客户号的分配较为随意,允许一个组织机构号下存在多个客户号。
2.数据异常,指系统的个别字段出现了异常信息,包括取值错误,格式错误、多余字符、乱码等。
3.信息缺失或不准确,指在系统表中已经设计了某些字段,但在使用过程中, 很多记录却没有收集这些字段的信息,或存在信息收集不准确、信息重复登记等情况。信息缺失或不准确通常在客户信息方面最为严重。
4.系统之间数据不一致,主要体现在两个方面:
5.数据完整性问题。数据完整性问题主要体现在两个方面:(1)参照完整性,是指一个表 A的外键不包含无效的键值,例如,借据表中记录了合同号,但是在合同表中无法找到相关记录;(2)数据含义冲突,如某些账户,从账户属性、存期等字段看,应是通知存款产品,但从科目看,又是普通定期产品。
6.数据生命周期问题。银行中的关键数据,例如,账户、客户、产品信息等, 都有若干日期字段记录其生命周期,这些日期字段包括创建/开户日期、关闭/
销户日期、最后交易日期和最后修改日期等,但是在业务系统中往往存在修改了记录状态却并未同步更新相关日期字段的情况。此外,还有一个违反合理数据生命周期的常见做法,就是直接在物理上删除记录。
7.代码问题。包括三个与代码相关的问题:
图 1 描述了权威人士普遍认可的数据质量管理方法论,共分六步。
图1 数据质量提升步骤图
第一步:定义及验证
首先,从技术和业务两个层面对数据应当满足的质量目标进行定义。表1列出了一系列数据质量度量标准,但最终的定义应当以更规范的形式进行描述。例如,属性 X的缺失率不超过2%。其次,对于派生数据,其源数据和转换的规则必须详细说明。最后,上面描述的定义和规则将作为数据质量评估计划的输入源。数据质量评估计划主要用来验证定义和规则的正确性,并且这个计划将详细描述数据必须满足的、适合它预期用途的属性,即它定义了数据质量。这个计划还将指导初始的数据度量,通常也成为数据剖析。
表1 数据质量度量标准
Accuracy 正确性 |
Completeness 完整性 |
Consistency 一致性 |
Continuity 连续性 |
Precedence 先后顺序 |
Precision 精确度 |
Granularity 数据粒度 |
Currency 当前性 |
Duration 数据时间跨度 |
Retention 数据保存周期 |
Identity 唯一性 |
Reference 参照完整性 |
Cardinality 数据对应关系 |
Inheritance 继承关系 |
Value Set 数值集合 |
Relationship 依赖关系 |
第二步:影响分析与共性分析
完成数据质量目标定义后,需要评估一个特定的数据质量问题在预期的数据使用适合性方面带来的影响,并根据影响分析结果可以确定数据质量问题的重要性与优先级别。
所谓共性分析就是分析错误具有的共性,我们期望一次可以将许多错误归结到某类共同原因。这个分析将为下一步追踪根本原因做好准备。
第三步:追踪根本原因
图 2 所示鱼骨图是一个众所周知的用于鉴别数据质量背后根本原因的工具,它反映了需要达到的和实际的数据质量之间的差距原因,通常是信息、流程、技术、人员等因素所导致。
第四步:预防/修复数据质量问题
图 3 描述了在追踪数据质量问题的根本原因时可用到的选择。每一个选择都有相关的优点和弱点。
图2 数据质量根本原因图
图 3 预防/修复数据质量问题图
第五步:趋势监控
一个已知的数据质量问题被修复后并不意味着这个特定问题就被永远解决了。如果没有有效地预防措施,错误仍有可能再现。因此,对重要数据质量问题应当持续监控。图 4 所示控制图经常被用来做质量问题监控,当错误的个数在一定范围之内浮动时,质量问题被认为处于可控状态。
图 4 数据质量趋势监控图
第六步:识别和研究偏差
监控流程来识别问题。例如,当一个已知数据的质量超过了允许的控制范围, 流程将需要从该分支返回到第三步再一次识别根本原因。
图 5 识别和研究偏差图
根据数据质量定义,数据的不同使用目的会导致不同的数据质量要求,例如, 业务系统对数据的使用目的主要是为了保证业务流程的正常运转和满足一些简单的统计功能,因此只要业务流程和统计正常,就可以认为数据质量满足要求;而分析型系统对数据的使用目的则多种多样,而且涵盖企业运营的方方面面,那么满足业务流程正常运转的需要并不一定就能保证满足分析的需求,因此分析型应用的需求是决定数据质量管理目标的主要因素。
在这一前提下,对企业内部数据流转过程各环节中呈现出来的数据质量问题特性作如下分析,如图6所示,数据流转过程被分成三个阶段(环节):
从图6中可以看到,数据质量问题的产生主要在于数据产生环节,其次在于数据集成环节的数据加工过程,而在数据使用环节,由于原则上不再对数据作修改,因此基本上不产生数据质量问题。
图 6 数据质量问题分析图
数据质量问题的发现则不同,基本呈现出相反特征:一是业务源系统虽然是数据的主要产生环节,但是通常只能发现业务流程相关的数据质量问题,而且仅限于本系统内部;二是数据集成环节由于是企业内部数据的一个最主要会聚点,因此通常也是数据质量问题暴露最多的环节;三是数据使用环节是数据质量问题频繁暴露的另一个环节,主要是因为对数据的使用决定了数据质量问题的定义,所以很多质量问题都是在使用时被首次发现。
05 在不同流转环节关注的数据质量
基于数据质量管理的关键环节和质量问题特性,再结合业界事实数据质量管理的最佳实践,建议在不同流转环节侧重完成的功能点实现应如下:
1.数据产生环节。
修正——数据质量问题必须在源头得到修正,这是数据质量管理的一项基本原则。
预防——相对于修正,预防的意义更大,主要原因在于可以防止产生新的数据质量问题。
定义——由于数据质量问题的定义主要取决于使用目的原则,因此数据质量问题的定义主要应当结合数据使用环节来发起,但事实上常常都是基于源系统的数据结构来进行定义。
2.数据集成环节。
检查——技术数据平台类系统作为银行数据的主要会聚点,在此环节进行数据质量问题检查的效用最高。
报告——对于数据质量检查结果,应当以报告形式展开,并通过一定的机制(自动工作流程或人工流程)通知相关的数据质量问题责任人,如业务源系统项目组、业务部门、数据仓库或应用项目组等。
跟踪——由于来自业务源系统的数据每天都会加载到基础数据平台类系统中,因此,基础数据平台类系统应当被利用来对数据质量问题的解决进行跟踪,并将跟踪结果作为提升数据质量问题治理成效的一个依据。
3.数据使用环节。
定义——如前所述,在数据使用环节就根据数据的使用目标来定义数据应当满足的质量标准,并作为日后上下游系统之间服务水平协议(Service LevelAgreement,SLA)的输入接口。
评估——作为数据的最终使用者,在使用环节应当对数据质量治理的成效进行评估,并作为下一阶段设定数据质量管理目标的依据之一。
数据质量管理流程应当涵盖从“数据产生”到“数据集成”再到“数据使用”在内的全过程。为了在银行全行范围内进行有效的数据质量管理,数据质量管理的不同功能点应恰当分布在个流程的相应环节,在基础数据平台类系统上构建数据质量管理系统,并将源系统、相关应用以及相关科技和业务用户都纳入数据质量问题的发现——修正——跟踪——评估的闭环流程当中,如此才是实施数据质量管理的最佳选择。
此外,数据质量管理成败的关键在于合理有效的组织架构和流程,而不是管理系统自身,因此应当更为重视数据质量管理配套的组织架构和管理流程建设。
在构建数据质量管理体系时,以下关键因素应当考虑:跨部门以上主管领导的重视和牵头;负责解决数据质量问题的专门和专业组织;负责解决数据质量问题的统一和专业流程;负责解决数据质量问题的统一平台;负责侦测数据质量问题的专业工具。
07 数据质量管理与数据治理体系的有机结合
数据质量管理应当与整个企业级的数据治理体系有机结合,图7 简要说明了这些治理体系各主要组件之间的关系。
图 7 反映的数据质量管理相关治理组件的关系如下:
图 7 数据治理主要组件之间的关系图
1.数据标准是数据质量管理进行质量检查的规则,因此数据与标准不相符,就是一个典型的数据质量问题,通过部署数据质量管理系统,可以对数据标准的落地实施提供有效的监控、检验和督促手段。
2.元数据管理系统可以作为数据质量管理的一个输入端,辅助数据质量检查 脚本的自动生成,而数据质量管理系统中存储的检查规则等信息又是一项元数据, 应当被元数据管理系统所采集。
3.数据安全管理中定义的数据所有者,是构建数据质量治理闭环流程和确定数据整改权责的重要依据。
来源:大数据架构师
作者:孙中东