执行类似 xxx.write.format(“parquet”).save(‘xxxx’) 的操作。
虽然UI上显示completed
但是后台会hold主进程 一段时间,有时候几分钟,有时候十几分钟
最后hang住的原因是hadoop2.x commit job是在driver端单线程做的,当结果文件较多时,会比较慢。
执行类似 xxx.write.format(“parquet”).save(‘xxxx’) 的操作。
虽然UI上显示completed
但是后台会hold主进程 一段时间,有时候几分钟,有时候十几分钟
最后hang住的原因是hadoop2.x commit job是在driver端单线程做的,当结果文件较多时,会比较慢。