AI
推荐
模板社区
专题
登录
免费注册
首页
流程图
详情
TaskSchedulerImpl-resourceOffers
2016-04-05 11:20:43
4
举报
分享方式
免费使用
SparkTaskScheduler
spark
模版推荐
作者其他创作
大纲/内容
CoarseGrainedSchedulerBackend
调用rootPool的getSortedTaskSetQueue方法获得任务队列
调用Random.shuffle方法
申明每个计算节点的任务列表（每个计算节点上具体可以运行多少Task）
pool
调用resourceOfferSingleTaskSet方法来为Task分配Cores
传入可用的Cores个数
Random
根据传入数组返回一个顺序随机的数组
TaskSchedulerImpl
利用Randomly shuffle offers达到负载均衡
调用TaskSetManager的myLocalityLevels来获取任务的最高本地性
SchedulingAlgorithm
makeOffers方法调用TaskSchedulerImpl的resourceOffer
记录每个活节点的的hostname如果有新的可有Cores更新可用Cores个数
compare方法
调用SchedulingAlgorithm的compare方法创建任务调度队列
收藏
立即使用
TaskSchedulerImpl-resourceOffers
收藏
立即使用
作业提交过程
520教授
职业：暂无
去主页
评论
0
条评论
下一页
Document
