JOIN
数据块05user_id:3
1 桶
数据块04user_id:1user_id:2
UNION ALL
Reduce 阶段
MapTask
数据块05
根据聚合 Key Hash 后写入对应分区
ReduceTask
用户等级表（小表）user_level
node03/nodexx/...hash(user_id) % 2user_id：1user_id：3user_id：5...
user_id主键
name用户名
level_id用户等级
1
zhangsan
2
lisi
3
wangwu
...
100000000
font color=\"#5b79e8\
数据块05user_id:1user_id:3
根据大表的 Big Key 过滤数据
数据块01
数据块03user_id:1user_id:3
单次网络 IO & 磁盘 IO
node01hash(user_id) % 2user_id：1user_id：3user_id：5...
中小表对应大表倾斜 Key 的数据
数据块01user_id:1user_id:3
Map 阶段
数据块03user_id:2user_id:3
2 桶
Skew Join针对性解决数据倾斜问题的优化手段
完成最终聚合操作
0_order0011_order0012_order001...9_order001
根据 JOIN Key Hash 后写入对应分区
大表 order
node01 MapTask
用户表（大表）user
数据块03user_id:3
数据块03user_id:2
node04 MapTask
对 Key 加盐，将数据打散为多份（0，1，2，...，9）
数据块01user_id:1
数据块03user_id:1
大表 user
大表
内存
1 分区
Skew 表
node01/nodexx/...hash(level_id) % 2level_id：1level_id：3level_id：5...
数据块04user_id:1
node01/nodexx/...hash(level_id) % 2level_id：2level_id：4level_id：6...
相同桶或有映射关系的桶
node01hash(level_id) % 2level_id：1level_id：3level_id：5...
数据块03
数据块01user_id:3
数据块05user_id:1
0 分区
node01hash(level_id) % 2level_id：2level_id：4level_id：6...
数据块06user_id:2user_id:3
3 桶
node03/nodexx/...hash(user_id) % 2user_id：2user_id：4user_id：6...
level_id主键
level_code等级编码
level_name等级名称
v1
普通会员
v2
黄金会员
v3
钻石会员
10
订单表（大表）order
node05 MapTask
采样倾斜 Key 并分拆 JOINSkew Join 的手动挡版本
0 桶
node03/nodexx/...hash(level_id) % 2level_id：1level_id：3level_id：5...
数据块01user_id:1user_id:2
5 桶
数据块02user_id:1user_id:3
数据块04
Common Join（Reduce-Side Join / Shuffle Join）通用但代价最高的基础方案，适用于任何大小的表
数据块06user_id:2
node02
Bucket Map Join利用分桶特性扩展 Map Join 适用范围
数据块06
数据块02
数据块01user_id:2
数据块02user_id:2
node01hash(user_id) % 2user_id：2user_id：4user_id：6...
小表 < 25M
Map Join（Broadcast Join）避免 Shuffle 的小表关联利器，适用于大小表 JOIN
数据块06user_id:3
node06 MapTask
node07 MapTask
node02hash(level_id) % 2level_id：2level_id：4level_id：6...
数据抽样并过滤 Big Key
node01/node03/nodexx/...
数据源（中小表）
node03 MapTask
数据块02user_id:2user_id:3
node02hash(level_id) % 2level_id：1level_id：3level_id：5...
Sort Merge Bucket（SMB）Join基于分桶排序的无 Shuffle、低内存消耗关联
数据块02user_id:3
根据 Key 扩容，将数据一条变多条（与随机前缀集做笛卡尔积）
order_id主键
order_sn订单编号
user_id用户外键
001
002
003
200000000
node03/nodexx/...hash(level_id) % 2level_id：2level_id：4level_id：6...
数据块04user_id:2
Normal 表
数据块02user_id:1
4 桶
中小表对应大表不倾斜 Key 的数据
数据源（大表）
