kettle是一个免费且开源的大数据预处理软件，本篇讲述如果使用kettle工具来的去除Excel文件的重复记录。工具/原料moreKettle工具Excel文件方法/步骤1/11分步阅读

打开kettle工具，并新建转换

2/11

准备一个需要去重的Excel文件，文件的内容如图，标红的区域为我们需要去重的区域。

注意：Excel文件去重之前必须先排序

3/11

创建Excel 输入:

1. 选择输入

2. 选择Excel 输入

4/11

创建Excel 输出:

1. 选择输出

2. 选择Excel 输出

5/11

创建去除重复记录：

1.选择转换

2.选择去除重复记录

6/11

将创建好的的三个组件连接起来，操作如图所示

7/11

配置Excel 输人，具体配置如图

8/11

配置去除重复记录，具体配置如图

9/11

配置Excel输出 具体的配置如图

10/11

开始转换

11/11

查看转换结果

注意事项

Excel文件必须事先排好序

大数据数据处理数据清洗KETTLEEXCEL