为何要进行数据清洗?数据清洗的对象是什么?
数据分析之前为什么要进行数据清洗?数据清洗又是什么意思?
数据清洗是指发现并纠正数据文件中可识别的错误的最后一道程序,包括检查数据一致性,处理无效值和缺失值等。与问卷审核不同,录入后的数据清理一般是由计算机而不是人工完成。
要想搞明白为什么要清洗数据,首先来看看ETL的概述内容。
ETL包括数据的抽取、转换、加载。
①数据抽取:从源数据源系统抽取目的数据源系统需要的数据:
②数据转换:将从源数据源获取的数据按照业务需求,转换成目的数据源要求的形式,并对错误、不一致的数据进行清洗和加工;
③数据加载:将转换后的数据装载到目的数据源。
通过ETL的概述内容,我们可以得知,ETL作为构建数据仓库的一个环节,负责将分布的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转换、集成,最后加载到数据仓库或数据集市中,成为联机分析处理、数据挖掘的基础。
ETL原来主要用户构建数据仓库和商业智能项目,现在也越来越多地应用于一般信息系统数据的迁移、交换和同步。
在ETL的概述内容中数据分析获取是一个非常重要的事情,为了保证数据分析出一个很好的结果,需要一个干净的数据,干净的数据能够提高数据分析的效率,所以,数据清洗是一个很重要的工作,通过对数据清洗对象的清洗,能够统一数据的格式,这样才能够减少数据分析中存在的众多问题,从而提高数据的分析的效率。
弄清楚了为什么要进行数据清洗,那么接下来让我们深入地了解一下数据清洗的对象!
数据清洗的对象
一般来说,清洗数据的对象就是缺失值、重复值、异常值等。
缺失值:就是数据中由于缺少信息导致数据的分组、缺失被称为缺失值,存在缺失值的数据中由于某个或者某些数据不是完整的,对数据分析有一定的影响。
异常值:就是指一组测试值中宇平均数的偏差超过了两倍标准差的测定值。而与平均值的偏差超过三倍标准差的测定值则被称为高度异常值。
重复值:就是重复的数据,数据中存在相同的数据就是重复数据,重复数据一般有两种情况,第一种就是数据值完全相同的多条数据记录。另一种就是数据主体相同但匹配到的唯一属性值不同。这两种情况复合其中的一种就是重复数据。