SPARKspark写HDFS文件,在UI上显示完成但后台会hang住一段时间 执行类似 xxx.write.format(“parquet”).save(‘xxxx’) 的操作。 虽然UI上显示completed 但是后台会hold主进程 一段时间,有时候几分钟,有时候十几分钟 最后hang住的原因是hadoop2.x commit job是在driver端单线程做的,当结……继续阅读 » wangting 4年前 (2019-10-12) 905浏览 4个赞