• 欢迎光临~

标签:hive

开发技术

Pytorch优化过程展示:tensorboard

Pytorch优化过程展示:tensorboard
训练模型过程中,经常需要追踪一些性能指标的变化情况,以便了解模型的实时动态,例如:回归任务中的MSE、分类任务中的Accuracy、生成对抗网络中的图片、网络模型结构可视化…… 除了追踪外,我们还希望能够将这些指标以动态图表的形式可视化显示出来。 ……继续阅读 »

diligentman 2周前 (12-31) 0浏览 0个赞

开发技术

记录hive一次数据倾斜问题的解决以及思考总结

记录hive一次数据倾斜问题的解决以及思考总结
解决数据倾斜是大数据开发中比较重要的能力,这个现象指的是分布式集群中,由于数据分发的不当,导致某个节点要处理的错误过多,导致整个计算机任务迟迟结束不了,甚至可能节点出现OOM使得任务失败 处理数据倾斜的第一步就是定位到数据倾斜的位置以及理清数据倾斜的原因 这次数据倾斜模拟的是大key,也就是某个key下记录远超于其他key,在join或者group的时候会导……继续阅读 »

diligentman 4周前 (12-22) 0浏览 0个赞