一小时学做网站/大数据精准营销系统

数据倾斜结合篇：
https://www.cnblogs.com/qingyunzong/p/8847597.html

数据倾斜:

现象:当有多个reduce时，其中有大量的数据全部集中到某一个或者几个reduce中时
本质原因:	1)、key分布不均匀2)、业务数据本身的特性3)、建表时考虑不周4)、某些SQL语句本身就有数据倾斜
表现:
任务进度长时间维持在99%（或100%），查看任务监控页面，发现只有少量（1个或几个）reduce子任务未完成。因为其处理的数据量和其他reduce差异过大。
单一reduce的记录数与平均记录数差异过大，通常可能达到3倍甚至更多。 最长时长远大于平均时长。

数据倾斜解决

	1) set hive.map.aggr=true	map端部分聚合,相当于Combiner2) set hive.groupby.skewindata=true有数据倾斜的时候进行负载均衡，当选项设定为 true，生成的查询计划会有两个 MR Job。第一个 MR Job 中，Map 的输出结果集合会随机分布到 Reduce 中，每个 Reduce 做部分聚合操作，并输出结果，这样处理的结果是相同的 Group By Key 有可能被分发到不同的 Reduce 中，从而达到负载均衡的目的；第二个 MR Job 再根据预处理的数据结果按照 Group By Key 分布到 Reduce 中（这个过程可以保证相同的 Group By Key 被分布到同一个 Reduce 中），最后完成最终的聚合操作。3) 把空值的key变成一个字符串加上随机数，把倾斜的数据分到不同的reduce上，由于null值关联不上，处理后并不影响最终结果。4) map join	(小表join大表)	符合条件自动转为map joinset hive.auto.convert.join;  默认为true5) 小表不小 select * /*+ mapjoin(b)*/ from a join b on a.id=b.id; 6) 桶join#创建桶表create table bucket_table (id int , name string)clustered by (id) into 4 buckets;SMB join	(桶join)A表:	10000条	分4桶1~2500		1桶2500~5000	2桶5000~7500	3桶7500~10000	4桶B表:	10000条	分4桶1~2500		1桶2500~5000	2桶5000~7500	3桶w7500~10000	4桶注意: B的桶的个数必须与A桶一致,或是A桶的倍数 join查询10000*100002500*10000