Skip to content

程序员灯塔

Menu
  • Download
  • sitemap
  • 文章归档
  • 标签归档
  • 示例页面
Menu

spark运行中 Task运行报exceeds spark.akka.frameSize

Posted on 2019 年 10 月 12 日

报错信息如下:

org.apache.spark.SparkException: Job aborted due to stage failure:
Serialized task 6:0 was 12518780 bytes which exceeds spark.akka.frameSize (10485760 bytes).
Consider using broadcast variables for large values.

 

原因:

该错误是由传输的序列化数据超过了当前设定的driver端同executor端通信的消息尺寸的最大值导致。

可通过配置spark.akka.frameSize参数解决(以M为默认单位,默认值为10M)。

该参数控制driver端同executor通信的消息尺寸的最大值。

当需要向driver端返回大尺寸结果,例如对大数据集执行collect()操作时,往往需要调整该参数。

近期文章

  • 技术网站
  • 世界,您好!
  • Git学习记录(learngitbranching.js.org)
  • 阿里职场潜规则
  • 寻找两个正序数组的中位数

近期评论

  1. 一位 WordPress 评论者 发表在 世界,您好!

归档

  • 2024 年 9 月
  • 2024 年 3 月
  • 2022 年 12 月
  • 2021 年 8 月
  • 2021 年 6 月
  • 2021 年 3 月
  • 2021 年 2 月
  • 2020 年 11 月
  • 2020 年 5 月
  • 2020 年 3 月
  • 2019 年 11 月
  • 2019 年 10 月
  • 2019 年 9 月
  • 2019 年 7 月
  • 2019 年 6 月
  • 2019 年 5 月
  • 2019 年 3 月
  • 2018 年 9 月
  • 2018 年 8 月
  • 2018 年 7 月
  • 2018 年 4 月
  • 2018 年 2 月
  • 2018 年 1 月
  • 2017 年 12 月
  • 2017 年 11 月
  • 2017 年 10 月
  • 2017 年 8 月
  • 2017 年 7 月

分类目录

  • 未分类
©2025 程序员灯塔 | Design: Newspaperly WordPress Theme