有哪些提高数据质量的数据清洗方法

有哪些提高数据质量的数据清洗方法

数据清洗是整个数据分析链路中非常重要的一个环节,能够提供更高的质量的数据,同时供应挖掘材料。

 

一、介绍
在进行数据分析之前,自己拿到的数据大部分情况下都是不能够直接用的,会存在很多数据质量的问题,这个时候就需要我们先过滤一遍。

数据清洗是整个数据分析链路中非常重要的一个环节,能够提供更高的质量的数据,同时供应挖掘材料。

二、解决质量问题
解决各种数据质量问题的目的,包括但不限于:

数据的完整性 —— 例如,人的属性中缺少性别、籍贯、年龄等
数据的唯一性 —— 例如,不同来源的数据重复出现的情况
数据的权威性 —— 例如,同一个指标出现多个来源的数据,且数值不一样
数据的合法性 —— 例如,获取的数据与常识不符,年龄大于150岁。
数据的一致性 —— 例如,不同来源的不同指标,实际内涵是一样的,或是同一指标内涵不一致。
数据清洗的结果是对各种脏数据进行对应方式的处理,得到标准的、干净的、连续的数据,提供给数据统计、数据挖掘等使用。

三、解决办法

  1. 数据的完整性
    思路:数据缺失,那么补上就好了。

首先判断能不能从源头上直接补上,这部分的数据缺失太多,是否研发那边某个埋点的功能异常,导致一些数据无法上报,这个时候需要找研发对接。

如果是正常的数据丢失率例如1%-2%左右,那么可以具体通过一下一些方式不上数据:

通过其他信息补全,例如使用身份证件号推算性别、籍贯、出生日期、年龄等
通过前后数据补齐,例如时间序列数据确实了,可以使用前后的均值,缺的多了,可以使用平滑等处理。均值、中位数,或者自动向上或者向下补齐都是比较常用的方法。
实在补不全的,虽然很可惜,但也必须要剔除。但是不要删掉,没准以后用的上。
sql处理方式

#查看comm字段缺失数量
select sum(comm is null) from emp;
# 平均值填充
select ifnull(comm,(select avg(comm) from emp)) from emp;
# 也可以使用coalesce()函数,该函数将多个表达式或列作为参数,并返回第一个非空的值
select coalesce(comm,0) from emp; # 将null值填充为0

 

  1. 数据的唯一性
    思路:去除重复记录,只保留一条。

去重的方法有:

按主键去重,用sql 『去除重复记录』即可。
按规则去重,编写一系列规则,对重复情况复杂的数据进行去重。例如不同渠道来的客户数据,可以通过相同的关键信息进行匹配,合并去重。
sql处理方式

 
# 去重单个字段
select distinct comm from emp;
# 使用group by + 聚合函数例如max,min,any_value
# 去重多个字段,设定一个student表,其中,同一个学生可能有两个age值
select name,any_value(age) from student group by name
select name,max(age) from student group by name
any_value()会选择被分到同一组的数据里第一条数据的指定列值作为返回数据

 

  1. 数据的权威性
    思路:用最权威的那个渠道的数据

方法:对不同渠道设定权威级别

  1. 数据的合法性
    思路:设定判定规则

设定强制合法规则,凡是不在此规则范围内的,强制设为最大值,或者判为无效,剔除
字段类型合法规则:日期字段格式为『2010-10-10』
字段内容合法规则:性别 in (男、女、未知);出生日期<=今天
设定告警规则,凡是不再此规则范围内的,进行告警,然后人工处理
告警规则:年龄 > 110
离群值人工特殊处理,使用分箱、聚类、回归、等方法发现离群值
sql处理方式

# 使用where条件进行限制
select name,sex,age from student
where sex in ("男","女","未知")
and age between 0 and 110

 

  1. 数据的一致性问题
    思路:建立元数据体系,包括但不限于:指标体系(度量)、维度(分组、统计口径)、单位、频度、数据。

tips:如果数据质量问题比较严重,建议跟技术团队好好聊聊。

 

 

数据分析模板分享、大数据管理平台最新动态、怎么基于大数据管理平台和低代码平台开发软件等

大数据管理平台最新资讯

数字经济:新动力、新机遇和新挑战

数字经济是一个充满机遇和挑战的领域,随着数字化技术的飞速发展,它正在以惊人的速度改变着我们的经济生态系统。数字经济对于全球经济和社会的发展有着深远的影响,其正在

什么是数据发现?数据发现有哪些价值和作用?

随着数字化和信息化的不断发展,数据已经成为了一个非常重要的资源和资产。在企业和组织中,数据的管理和利用是非常关键的一环。而数据发现就是数据管理中的一个重要环节。

农业农村大数据有哪些应用?

随着科技的发展,大数据应用在农业农村可谓是注入了新的活力。农业农村大数据应用是指通过大数据技术,利用大数据计算分析,将农业农村信息数据和农业农村管理决策系统结合

立刻联系

沟通有哪些提高数据质量的数据清洗方法需求

沟通需求->确定需求->设计方案->合作签约-实施交付

有哪些提高数据质量的数据清洗方法推荐产品列表

有哪些提高数据质量的数据清洗方法相关解决方案

×

欢迎访问速优云官网!

咨询电话:17190186096

扫码加顾问微信 -->

速优云PerfCloud官方微信