如何利用python处理异常值?
来源:网络收集 点击: 时间:2024-04-16【导读】:
在数据清洗阶段,我们需要找到异常值,并对其进行相应的一些处理。在python中,异常值的处理常常需要结合一些数据模型或概率分布来解决。下面做一个简单的介绍。工具/原料morepython方法/步骤1/7分步阅读
2/7
3/7
4/7
5/7
6/7
7/7
PYTHON异常值判断标准化数据分析PANDAS
打开pycharm开发工具,在运行窗口输入命令:
import pandas as pd #导入pandas库

输入数据集。
data=pd.DataFrame({name:,cost:,sales:})
print(data)

通过z-score方法判断异常值,即对原始值X进行正态标准化:(X-mean(X))/std(X),根据计算的结果判断样本值与中心的偏离程度。
df1=data.copy()#为了不影响原始数据集,复制数据集data
print(df1)

按列计算均值和标准差。
df1=(df1-df1.mean())/df1.std()#标准化cost_z列

对sales列进行标准化。
df1=(df1-df1.mean())/df1.std()#标准化cost_z列
df1

查看标准化后的数据集。
print(df1)
标准化后的绝对值越大,数据越有可能异常,是否异常根据设定的阈值判断。

假设cost列阈值为2,通过下面的方法找到异常值。
df1.abs()2#判断数据是否异常
data.abs()2]#取出原数据集中的异常点

版权声明:
1、本文系转载,版权归原作者所有,旨在传递信息,不代表看本站的观点和立场。
2、本站仅提供信息发布平台,不承担相关法律责任。
3、若侵犯您的版权或隐私,请联系本站管理员删除。
4、文章链接:http://www.1haoku.cn/art_524542.html
上一篇:《幽灵线:东京》算盘位置在哪
下一篇:苹果手机短信如何一键删除