Skip to content

程序员灯塔

Menu
  • Download
  • sitemap
  • 文章归档
  • 标签归档
  • 示例页面
Menu

spark 运行时报 Asked to remove non-existent executor

Posted on 2019 年 10 月 12 日

spark运行过程中打印如下信息:

15/06/23 17:50:57 ERROR SparkDeploySchedulerBackend: Asked to remove non-existent executor 284 15/06/23 17:50:57
INFO AppClient$ClientActor: Executor added: app-20150623174849-2415/285 on worker-20150520142452-nmg01-khan-spark0024.nmg01.baidu.com-31474 (nmg01-khan-spark0024.nmg01.baidu.com:31474) with 10 cores 15/06/23 17:50:57
INFO SparkDeploySchedulerBackend: Granted executor ID app-20150623174849-2415/285 on hostPort nmg01-khan-spark0024.nmg01.baidu.com:31474 with 10 cores, 50.0 GB RAM 15/06/23 17:50:57
INFO AppClient$ClientActor: Executor updated: app-20150623174849-2415/285 is now LOADING 15/06/23 17:50:57
INFO AppClient$ClientActor: Executor updated: app-20150623174849-2415/285 is now RUNNING 15/06/23 17:50:57
INFO AppClient$ClientActor: Executor updated: app-20150623174849-2415/285 is now EXITED (Command exited with code 1) 15/06/23 17:50:57
INFO SparkDeploySchedulerBackend: Executor app-20150623174849-2415/285 removed: Command exited with code 1 15/06/23 17:50:57
ERROR SparkDeploySchedulerBackend: Asked to remove non-existent executor 285

当集群计算结点出现坏节点或者Executor运行过程中因为OOM等原因挂掉时可能出现Executor Lost的情况。

发现后调度器会将已不存在的executor移除,上述打印信息为正常现象。

坏节点多次重试后会跳过,除非任务调度失败,否则不需要关心这条日志。 

 

近期文章

  • 技术网站
  • 世界,您好!
  • Git学习记录(learngitbranching.js.org)
  • 阿里职场潜规则
  • 寻找两个正序数组的中位数

近期评论

  1. 一位 WordPress 评论者 发表在 世界,您好!

归档

  • 2024 年 9 月
  • 2024 年 3 月
  • 2022 年 12 月
  • 2021 年 8 月
  • 2021 年 6 月
  • 2021 年 3 月
  • 2021 年 2 月
  • 2020 年 11 月
  • 2020 年 5 月
  • 2020 年 3 月
  • 2019 年 11 月
  • 2019 年 10 月
  • 2019 年 9 月
  • 2019 年 7 月
  • 2019 年 6 月
  • 2019 年 5 月
  • 2019 年 3 月
  • 2018 年 9 月
  • 2018 年 8 月
  • 2018 年 7 月
  • 2018 年 4 月
  • 2018 年 2 月
  • 2018 年 1 月
  • 2017 年 12 月
  • 2017 年 11 月
  • 2017 年 10 月
  • 2017 年 8 月
  • 2017 年 7 月

分类目录

  • 未分类
©2025 程序员灯塔 | Design: Newspaperly WordPress Theme