task分配算法核心原理描述
admin
2023-07-30 08:20:36
0次

  1. 把stage生成的每个task创建一个taskset对象

  2. 双重for循环，遍历所有taskset，以及每种本地化级别

  3. 本地化级别有：

    1.process_local：进程本地化RDD的partition和task进入同一个executor中，速度最快

    2.node_local：RDD的partition和task不在一个executor上，但是在一个worker上

    3.NO_PERF：没有所谓的本地化级别

    4.RACK_LOCAL:机架本地化，至少RDD的partition和task在一个机架上

    5.任意本地化级别

  4. task优先选择最优的本地化级别

  5. 调用tasksetmanager的resourceOffer方法，去找到在这个executor上，哪些task可以启动，

  6. 放入taskset数组给指定的executor启动task

上一篇：JRebel热部署spring mvc时发生的异常。

下一篇：spine动画融合与动画叠加

相关内容

热门资讯

这位夸赞中国的女人，正在“大闹... 一个民调支持率极高的女人正在大闹德国，她就是选择党（AfD）党首爱丽丝·魏德尔。让欧洲建制派恐惧的是...
特朗普政府发布两项量子与密码安... 2026年6月22日，白宫发布《Ushering in the Next Frontier of Q...
原创 神... 三百多公里之上，一间比小户型客厅还局促的舱段里，一位女性和两位男性要抬头不见低头见地过日子。外界最容...
玩转昼夜交替科学实验 市科技馆... 7月4日市科技馆联合日报社小记者团，开展昼夜交替科学模型制作科普实践活动，帮助同学们在动手实操中了解...
靠谱大容量TF卡推荐：三星T7... Switch一代仍在发光发热，游戏阵容庞大、生态成熟，但32GB（OLED版64GB）的机身存储，早...
蒋方舟的学术不规范和论文造假有... 中国人民大学刚刚发布情况通报，公布了近日沸沸扬扬的“蒋方舟硕士论文涉嫌学术不端”事件调查和处理结果：...
四川绵竹接连发生3次四级以上地... 中国地震台网正式测定：今日23时30分在四川德阳市绵竹市（北纬31.58度，东经104.00度）发生...
大神Karpathy用Clau... 编辑｜泽南、杨文 上班真是有毒啊。 连 Andrej Karpathy（安德烈・卡帕西）这样的 AI...
我国成功发射千帆极轨13组卫星 7月4日 据央视新闻 北京时间7月4日17时30分，我国在太原卫星发射中心使用长征六号改运载火箭，成...
业内首个AI-eSIM产业协同... 来源：人民邮电报 7月3日，在中国信息通信业发展高层论坛上，由中国移动发起的业内首个AI-eSIM产...