企业数据治理难?做好这3个流程解决数据质量问题
针对从技术、业务、管理三个方面产生数据质量问题的原因剖析,有必要从事前预防控制、事中过程监控、事后监督管理三个方面进行数据质量监控以持续改进数据质量。
事前预防控制
建立企业内涵盖各业务主题的数据标准,统一指标定义、指标口径、涵盖每个业务字段的录入规范。对于手动录入的数据,尽可能的使用非开放式的输入手段,如下拉菜单、单复选框、时间控件、标签(支持自定义学习型)等,必须开放的输入部分,进行必要的及时校验。
另外对于系统原因造成的数据质量问题,我们需要建立数据标准体系,对于可以改造的生产系统,在数据标准的指导下进行改造,对于不能改造的系统,通过一些技术手段进行清洗转换,在数据产生的环节把控数据质量,这样效率必然是最高的。
建立企业内部的数据认责制、数据质量管理部门,制定数据质量监控流程和考核办法亦有助于数据质量的事前控制预防机制的完善。
事中过程监控
数据质量的控制,即在数据的维护和使用过程中去进行数据质量监控和处理数据质量。通过建立数据质量的流程化控制体系,对数据的新建、变更、采集、加工、装载、应用等各个环节进行流程化控制。
在这个过程中可以借助数据质量管理工具中的相关模块对数据流向的各个节点进行数据质量监测,可以实时预警数据质量,从数据的源头端控制好数据质量,支持系统自动化校验和人工审核相结合的方式进行管理。在这个过程中,亦可将在数据质量管理工具中嵌入企业的数据质量问题处理机制相关流程和审批流,有效辅助和监控数据质量。
事后监督管理
对于已经存储在数仓中的数据,发现质量问题,就得使用数据质量管理工具了。在数据仓库或数据中心建立时,就按照数据标准对关键字段进行统一命名、格式、精度等,排除数据的歧义。根据数据标准,在数据质量管理工具中建立相应的规则模型,对于导入的历史数据,可以借助运行规则模型发现数据质量问题,并在平台中对于数据质量问题进行全流程的追踪。数据质量管理是企业数据治理一个重要的组成部分,企业数据治理的所有工作都是围绕提升数据质量目标而开展的。要做好数据质量的管理,应抓住影响数据质量的关键因素,设置质量管理点或质量控制点,从数据的源头抓起,从根本上解决数据质量问题。
数据质量问题对于很多企业已经是迫在眉睫需要解决的问题了,是时候开展数据治理了。数据质量的提升并不是一蹴而就的,做一次数据整改就能解决所有数据质量问题。对于已有数据,通过数据质量管理工具进行校验和清洗,另外需要通过数据标准和数据质量建立起完善的数据质量管控体系,在各个环节进行监控,定期检查数据质量,确定解决方案,并加以改进,不断地提升数据质量。