hive.map.aggr=true;在map中会做部分聚集操作，效率更高但需要更多的内存。
hive.groupby.skewindata=true：数据倾斜时负载均衡，当选项设定为true，生成的查询计划会有两个MRJob。第一个MRJob 中，
Map的输出结果集合会随机分布到Reduce中，每个Reduce做部分聚合操作，并输出结果，这样处理的结果是相同的GroupBy Key
有可能被分发到不同的Reduce中，从而达到负载均衡的目的；第二个MRJob再根据预处理的数据结果按照GroupBy Key分布到
Reduce中（这个过程可以保证相同的GroupBy Key被分布到同一个Reduce中），最后完成最终的聚合操作。
但是两者组合使用,计算pv时候会出现错误,现象如下四个sql
前3个看问题,最后一个改进
一
set hive.groupby.skewindata=false ;
set hive.map.aggr = true;
select dt,’整体’ as os,count(1) ,count(distinct device_id)
from ods_cre_news_click
where ‘20180401’<=dt and dt<=’20180418′ and pagetype=’tianyi_nvideo’ and channel=’news_video’ and event_method !=’Android_Lite’
group by dt
20180401 整体 394384 88374
20180402 整体 350275 83083
20180403 整体 362113 84762
20180410 整体 355632 84843
20180404 整体 362981 86480
20180411 整体 371531 95118
20180405 整体 407410 92178
20180412 整体 419627 108835
20180406 整体 386203 88369
20180413 整体 456934 114080
20180407 整体 381992 87484
20180414 整体 480010 115757
20180408 整体 366030 86030
20180415 整体 459180 111333
20180409 整体 348939 82524
20180416 整体 418914 105665
20180417 整体 430969 105115
20180418 整体 426462 102444
二
set hive.groupby.skewindata=true ;
set hive.map.aggr = false;
select dt,’整体’ as os,count(1) ,count(distinct device_id)
from ods_cre_news_click
where ‘20180401’<=dt and dt<=’20180418′ and pagetype=’tianyi_nvideo’ and channel=’news_video’ and event_method !=’Android_Lite’
group by dt
20180401 整体 394384 88374
20180402 整体 350275 83083
20180403 整体 362113 84762
20180410 整体 355632 84843
20180404 整体 362981 86480
20180411 整体 371531 95118
20180405 整体 407410 92178
20180412 整体 419627 108835
20180406 整体 386203 88369
20180413 整体 456934 114080
20180407 整体 381992 87484
20180414 整体 480010 115757
20180408 整体 366030 86030
20180415 整体 459180 111333
20180409 整体 348939 82524
20180416 整体 418914 105665
20180417 整体 430969 105115
20180418 整体 426462 102444
三
set hive.groupby.skewindata=true ;
set hive.map.aggr = true;
select dt,’整体’ as os,count(1) ,count(distinct device_id)
from ods_cre_news_click
where ‘20180401’<=dt and dt<=’20180418′ and pagetype=’tianyi_nvideo’ and channel=’news_video’ and event_method !=’Android_Lite’
group by dt
20180401 整体 267833 88374
20180402 整体 246562 83083
20180403 整体 246095 84762
20180410 整体 242038 84843
20180404 整体 253287 86480
20180411 整体 265535 95118
20180405 整体 279676 92178
20180412 整体 298332 108835
20180406 整体 273046 88369
20180413 整体 325518 114080
20180407 整体 257079 87484
20180414 整体 324205 115757
20180408 整体 253223 86030
20180415 整体 319272 111333
20180409 整体 248462 82524
20180416 整体 281923 105665
20180417 整体 289144 105115
20180418 整体 280593 102444
四:改进,把count改为sum
set hive.groupby.skewindata=true ;
set hive.map.aggr = true;
select dt,’整体’ as os,sum(1) ,count(distinct device_id)
from ods_cre_news_click
where ‘20180401’<=dt and dt<=’20180418′ and pagetype=’tianyi_nvideo’ and channel=’news_video’ and event_method !=’Android_Lite’
group by dt
20180401 整体 394384 88374
20180402 整体 350275 83083
20180403 整体 362113 84762
20180410 整体 355632 84843
20180404 整体 362981 86480
20180411 整体 371531 95118
20180405 整体 407410 92178
20180412 整体 419627 108835
20180406 整体 386203 88369
20180413 整体 456934 114080
20180407 整体 381992 87484
20180414 整体 480010 115757
20180408 整体 366030 86030
20180415 整体 459180 111333
20180409 整体 348939 82524
20180416 整体 418914 105665
20180417 整体 430969 105115
20180418 整体 426462 102444