数据量小的时候无所谓，数据量大的情况下，由于COUNT DISTINCT操作需要用一个Reduce Task来完成，这一个Reduce需要处理的数据量太大，就会导致整个Job很难完成，一般COUNT DISTINCT使用先GROUP BY再COUNT的方式替换：方法/步骤1/6分步阅读

1． 创建一张大表

2/6

2．加载数据

3/6

3．设置5个reduce个数

4/6

4．执行去重id查询

5/6

5．采用GROUP by去重id

6/6

虽然会多用一个Job来完成，但在数据量大的情况下，这个绝对是值得的。