• 欢迎光临~

MindSpore数据增强后,内存不足,自动退出

开发技术 开发技术 2022-07-16 次浏览

1 报错描述

1.1 系统环境

ardware Environment(Ascend/GPU/CPU): Ascend
Software Environment:
– MindSpore version (source or binary): 1.6.0
– Python version (e.g., Python 3.7.5): 3.7.6
– OS platform and distribution (e.g., Linux Ubuntu 16.04): Ubuntu 4.15.0-74-generic
– GCC/Compiler version (if compiled from source):

1.2 基本信息

1.2.1脚本

yolov4使用mosaic进行数据增强。
https://gitee.com/mindspore/models/tree/master/official/cv/yolov4

1.2.2报错

MindSpore数据增强后,内存不足,自动退出
此报错信息不是导致退出的直接原因,可在日志中查看到有警告提示:“Memory consumption is more than…”,根据警告提示定位到是由于内存不足导致程序退出。

2 原因分析

batch算子会实时监控内存占用率,mindspore在1.6.版本之前,内存占用率达到0.95时会告警退出。目前在minspore==1.6.0后版本已对该阈值进行更新,在内存占用超过0.8时会进行告警,用户可在发现内存不足之后及时进行处理。

3 解决方法

用户在使用mindspore框架进行大数据训练时,需要多注意内存占用率,防止内存占用过高导致直接退出。当出现内存占用警告提示时,应该减少per_batch_map里面的内存占用。

程序员灯塔
转载请注明原文链接:MindSpore数据增强后,内存不足,自动退出
喜欢 (0)