企业数据质量太差的原因在哪里?找对症状很重要!
数据质量问题导致的后果是显而易见的,那么导致数据质量问题的原因是哪些呢?影响数据质量的主要因素是技术、业务和管理三个方面,以下从这三个方面来分析导致数据质量问题的原因。
技术问题
数据源存在数据质量问题,例如:有些数据是从生产系统采集过来的,在生产系统中这些数据就存在重复、不完整、不准确等问题,而采集过程有没有对这些问题做清洗处理,这种情况也比较常见。
数据采集过程质量问题, 例如:采集参数和流程设置的不正确,数据采集接口效率低,导致的数据采集失败、数据丢失、数据映射和转换失败。
数据传输过程的问题,例如:数据接口本身存在问题、参数配置错误、网络不可靠等都会造成数据传输过程中的发生数据质量问题。
数据装载过程的问题,例如:数据的清洗、转换、装载规则配置有问题。
数据存储的质量问题,例如:存储设计不合理,存储能力有限,人为后台调整数据,引起的数据丢失、数据无效、数据失真、记录重复。
业务问题
业务系统存在数据孤岛,烟囱式建设,系统间的数据不一致问题严重。业务端数据录入不规范,一些常见的数据录入问题,如大小写、全半角、单位等。业务端输入时,系统没有嵌入相关数据校验规则,导致录入受人为因素影响大,如应输入合同金额,100000元、十万元、拾万元等。人工录入的数据质量与录数据的业务人员密切相关,录数据的人工作严谨、认真,数据质量就相对较好,反之就较差。
管理问题
企业管理思维层面没有认识到数据质量的重要性,重系统而轻数据,认为系统是万能的,存储在系统中的数据就应该是质量过硬的。企业内部没有明晰数据的认责管理制度,没有设定相应的归口管理部门,出现数据质量问题找不到对应的负责人。数据录入规范不统一,同一业务部门在处理相同业务时,因为规范不统一,人为因素造成数据冲突或者矛盾。
导致数据质量问题的原因有很多,归根结底是企业缺乏从上至下的数据规划,没有设定相应的数据质量管理目标,没有制定数据质量相关的政策、管理和考核制度。缺乏有效的数据质量问题处理机制,从数据质量问题的发现、指派、处理、优化没有统一的流程和制度支撑,数据质量问题无法做到闭环管理和考核也是导致数据质量问题的原因。
要想解决这些问题,做好企业内部数据治理,企业内又没有足够的人力资源可以做到时,应该考虑引入专业的数字化智慧方案解决厂商。数据分析BI