当你的csv文件中有大量重复的数据时，应该怎么快速的去重呢？可以导入数据库在数据库中处理，也可以写段代码进行处理，还有没有更简单的点的工具可以直接处理？当然有，可以直接使用csv中的去重功能，非常简单，一起来看看吧！工具/原料moreThinkpad E431 Windows10专业版64位WPS 2019个人版方法/步骤1/7分步阅读

目前拿到的是一份有近20万条记录的csv文件，其中列一中有大量重复的记录；

2/7

使用wps打开csv文件后，点击功能菜单，数据标签；

3/7

打开数据功能后，找到删除重复项功能并点击；

4/7

点击后，弹出窗口，选中要去重的2列，然后点击删除重复项按钮；

上面提示共有多少条重复记录，去重后还剩多少条记录；

5/7

删除后，弹出提示窗口，点击确定按钮返回；

6/7

此时，记录只有80176条；

7/7

总结：

这个方法即简单也快速，可以处理好重复数据；

1、使用wps打开csv文件；

2、点击数据功能菜单；

3、打开数据功能菜单后，点击删除重复项按钮；

4、选择要删除的列，点击删除重复项按钮；

5、完成删除后，点击确定返回；

数据去重CSV去重WPS去重删除重复项