首页 思维导图 详情

缓解数据倾斜方案

2017-09-29 18:32:13 0 举报
仅支持查看
AI智能生成
enjoy it, thank u for suggestion
作者其他创作
大纲/内容
0 方法论
估计数据量，数据的分布
1 提高并行度
1.1 rdd
eg:(take)
1.2 partitions
eg:(join ,*bykey...)
原理示意图
![image_changeparallelism](http://www.jasongj.com/img/spark/spark1_skew/changeparallelism.png)
2 join场景
2.1 大表 join 小表
常用：广播小表
示意图：![image_mapjoin](http://www.jasongj.com/img/spark/spark1_skew/mapjoin.png)
2.2 大表A join 大表B，表A倾斜的键较少，表B分布较均匀
示意图：![image_randomprefix](http://www.jasongj.com/img/spark/spark1_skew/randomprefix.png)
2.3 大表A join 大表B，表A倾斜的键较多，表B分布较均匀
示意图：![image_randomprefixandenlargesmalltable](http://www.jasongj.com/img/spark/spark1_skew/randomprefixandenlargesmalltable.png)
3 其他策略
待补充
评论
0 条评论
下一页
为你推荐
查看更多
ospf
ospf
X2产品服务流程
X2产品服务流程
X战警
X战警
X计划
X计划
ospf
ospf
数据要素X数字中国
数据要素X数字中国
x
x
Paxos Liveness
Paxos Liveness
x线机工作过程思维导图
x线机工作过程思维导图
x
x