• 欢迎光临~

PyTorch中的model.zero_grad() 与 optimizer.zero_grad()的区别

开发技术 开发技术 2022-10-06 次浏览

在PyTorch中,对模型参数的梯度置0时,通常使用两种方式:

  • model.zero_grad()
  • optimizer.zero_grad()。

二者在训练代码都很常见,那么二者的区别在哪里呢?

  • model.zero_grad()的作用是将所有模型参数的梯度置为0。其源码如下:
for p in self.parameters():
    if p.grad is not None:
        p.grad.detach_()
        p.grad.zero_()
  • optimizer.zero_grad()的作用是清除所有优化的torch.Tensor的梯度。其源码如下:
for group in self.param_groups:
    for p in group['params']:
        if p.grad is not None:
            p.grad.detach_()
            p.grad.zero_()

总结

  • 当使用optimizer = optim.Optimizer(net.parameters())设置优化器时,此时优化器中的param_groups等于模型中的parameters(),此时,二者是等效的,从二者的源码中也可以看出来。 
  • 当多个模型使用同一个优化器时,二者是不同的,此时需要根据实际情况选择梯度的清除方式。 
  • 当一个模型使用多个优化器时,二者是不同的,此时需要根据实际情况选择梯度的清除方式。  

  

程序员灯塔
转载请注明原文链接:PyTorch中的model.zero_grad() 与 optimizer.zero_grad()的区别
喜欢 (0)