Pytorch 使用cuda进行自动求导存在的BUG
参考来源:
https://www.jianshu.com/p/af1d12cfef52
首先我们来简单地举个pytorch自动求导的例子:
使用CPU求导
x = torch.randn(3)
x = Variable(x, requires_grad = True)
y = x * 2
gradients = torch.FloatTensor([0.1, 1.0, 0.0001])
y.backward(gradients)
x.grad
在Ipython中会直接显示x.grad的值
Variable containing:
0.2000
2.0000
0.0002
[torch.FloatTensor of size 3]
一切正常 !!!
使用GPU(CUDA)求导
那我们来试一下使用cuda吧
将代码简单改动,就是将x转化为cuda变量
x = torch.randn(3)
x = Variable(x, requires_grad = True)
x = x.cuda() # 需要你的计算机有GPU
y = x * 2
gradients = torch.FloatTensor([0.1, 1.0, 0.0001])
y.backward(gradients)
x.grad
我们来显示一下,
print(x.grad)
None
惊不惊喜,意不意外?
问题出在第三行,cuda的定义要在Variable变量的定义之前,不然第3行会把requires_grad这个bool 搞成False。心好累改成下边这样子就可以了
x = torch.randn(3)
x = Variable(x.cuda(), requires_grad = True)
#x = x.cuda() # 需要你的计算机有GPU
y = x * 2
gradients = torch.FloatTensor([0.1, 1.0, 0.0001])
y.backward(gradients)
x.grad
输出结果:
0.2000
2.0000
0.0002
[torch.FloatTensor of size 3]
注:转载来源
作者:Mouse_He贺浩
链接:https://www.jianshu.com/p/af1d12cfef52
来源:简书
著作权归原作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。
来源:CSDN
作者:qq_23830035
链接:https://blog.csdn.net/qq_23830035/article/details/103913345