数据质量工程实践学习笔记(1)—概述

2020-09-23 21:26 浏览量:330

01

信息和数据质量的影响

 
 
  • 信息质量问题和影响无所不在:
    • 客户会因为错误的购物信息未能收到订购货物 
    • 商品因为错误的折扣率而被低价出售 
    • 不准确的库存清单导致没有及时订购零部件使生产线停止
  • 信息并不仅仅是数据、成串的数字、地址列表或者存储在计算机中的测试结果,还是企业过程的产品,由企业连续地、反复地使用
  • 人们需要使用信息来做决策、完成交易、从事企业运转所需的其它行动,但只有基于高质量的信息才能做出有效的企业决策和行动。如果要推进企业目标,则需要可信赖的、准确的、及时的信息
  • “一个公司的信息代表了这个公司进行生产和销售产品的集体知识”
  • 信息质量是指信息和数据可作为规定应用的可信资料来源的程度。就是在正确的时间、正确的地点,将正确信息的正确集合提供给正确的人员,以用来做决策、执行业务,实现公司目标

 

信息质量问题从何而来?

 

  • 信息质量问题可以由人员、流程或应用系统造成。信息质量问题并不局限于较老的系统或者特定类型的系统。虽然人人都知道数据一次又一次的出现问题,但却很难认识到信息质量影响业务的程度,常见的业务行为预示着数据质量问题的存在:
    • 纠正行为 
    • 返工
    • 重复处理订单
    • 处理用户投诉
  • 这些行为可能表面上与信息质量无关,但实际上由于流程和职能被分配给一个组织和很多人,数据质量问题的损失和范围通常是不可预见的
  • 业务方通过各种方式使用信息,创建、更新、删除数据。IT团队负责存储和移动数据的系统质量。IT方与业务方必须共同坚持清晰的需求描述、严格的系统测试,开发数据管理的质量流程

 

信息质量面临的挑战

  • 一是不断增长的法律法规对数据质量的需求,只有在名誉受损、高昂的罚款以及使CEO面临入狱的危险才会激发起对数据质量做些实际事情的动机
     
  • 二是基于新的方式需要了解、探查数据集成的业务需求。以前满足企业特定职能范围的数据,现在正在与其他职能范围的数据进行整合,但结果通常是不理想的:
    • 同样的信息可能存在不同的业务平台
    • 不同的平台、系统、数据库和应用软件
    • 不同的数据类型
    • 不同的数据结构、定义和标准等等
  • 企业需要发现企业需要什么数据、什么时候需要数据、以及当得到数据时能够信任数据的能力。为了具备以上能力,必须有意识的管理信息,就像管理资源和资产一样。企业获得的信息必须是真实的(对现实世界的准确反映)、及时的(最新的)、相关的(企业和客户所需要和关系的)

关于方法论的概念和步骤

  • 想象一个心脏病发作的场景,病人希望医生能够诊断病情,并且采取一些紧急的措施来挽救生命。当病情稳定后,会希望医生进行一些检查,查出引起心脏病发作的根本原因,如果可能医生还会提供一些方法来挽回已经造成的损害,并预防心脏病再次发作。医生还有可能要求病人定期做检查,重新评估病人的状况,并确定是否采取其他措施。
     
  • 这些看似是关于健康的常识。但当谈及数据和信息时,我们却经常倾向于讨论紧迫的业务问题。然后争取“简单修复”,而且还指望这些方法能够很好地解决问题。我们没有为问题的确定和严重程度进行测试或估计,没有进行根本原因分析,也没有采取预防措施。当问题一再发生,我们总是显得很惊讶!
  • 本书介绍了一个方法论,即获取高质量数据和可靠信息的10个步骤。方法论包括一个用来理解信息质量的概念框架和一个提供操作指南、技术和最佳实践的“10步流程”
    • 1.定义业务需求和方法
    • 2.分析信息环境
    • 3.评估数据质量
    • 4.评估业务影响
    • 5.确定根本原因
    • 6.制定提高方案
    • 7.预防未来数据错误
    • 8.纠正当前数据错误
    • 9.实施控制
    • 10.沟通行动和结果

 

来源:企业数字档案与数据治理

作者:athrun

上一篇:政策动态|组建国家数据局!《党和国家机构改革方案》全文发布

下一篇:组建国家数据局,能改变哪些产业?

  • 分享:
龙石数据
咨询电话: 0512-87811036,18013092598
联系我们
商务联系微信

商务联系微信

0512-87811036,

18013092598

咨询电话