Pytorch 使用cuda进行自动求导存在的BUG

走远了吗. 提交于 2020-01-10 00:32:37

Pytorch 使用cuda进行自动求导存在的BUG

参考来源:

https://www.jianshu.com/p/af1d12cfef52

首先我们来简单地举个pytorch自动求导的例子:

使用CPU求导

x = torch.randn(3)
x = Variable(x, requires_grad = True)
y = x * 2
gradients = torch.FloatTensor([0.1, 1.0, 0.0001])
y.backward(gradients)
x.grad

在Ipython中会直接显示x.grad的值

Variable containing:
 0.2000
 2.0000
 0.0002
[torch.FloatTensor of size 3]

一切正常 !!!

使用GPU(CUDA)求导

那我们来试一下使用cuda吧
将代码简单改动,就是将x转化为cuda变量

x = torch.randn(3)
x = Variable(x, requires_grad = True)
x = x.cuda() # 需要你的计算机有GPU
y = x * 2
gradients = torch.FloatTensor([0.1, 1.0, 0.0001])
y.backward(gradients)
x.grad

我们来显示一下,

print(x.grad)
None

惊不惊喜,意不意外?

问题出在第三行,cuda的定义要在Variable变量的定义之前,不然第3行会把requires_grad这个bool 搞成False。心好累改成下边这样子就可以了

x = torch.randn(3)
x = Variable(x.cuda(), requires_grad = True)
#x = x.cuda() # 需要你的计算机有GPU
y = x * 2
gradients = torch.FloatTensor([0.1, 1.0, 0.0001])
y.backward(gradients)
x.grad

输出结果:

 0.2000
 2.0000
 0.0002
[torch.FloatTensor of size 3]

注:转载来源
作者:Mouse_He贺浩
链接:https://www.jianshu.com/p/af1d12cfef52
来源:简书
著作权归原作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。

标签
易学教程内所有资源均来自网络或用户发布的内容,如有违反法律规定的内容欢迎反馈
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!