• 如果您觉得本站非常有看点,那么赶紧使用Ctrl+D 收藏吧

spark写HDFS文件,在UI上显示完成但后台会hang住一段时间

SPARK wangting 1个月前 (10-12) 12次浏览

执行类似 xxx.write.format(“parquet”).save(‘xxxx’) 的操作。

虽然UI上显示completed

但是后台会hold主进程 一段时间,有时候几分钟,有时候十几分钟

 

最后hang住的原因是hadoop2.x commit job是在driver端单线程做的,当结果文件较多时,会比较慢。

详参 https://issues.apache.org/jira/browse/MAPREDUCE-4815


喜欢 (1)