1. pytorch运行错误:RuntimeError: cuDNN error: CUDNN_STATUS_INTERNAL_ERROR
解决方法:
代码中添加:
torch.cuda.set_device(0)
2. 训练RNN网络loss出现Nan解决办法
(1). 梯度爆炸的原因可以通过梯度裁决解决
GRAD_CLIP = 5 loss.backward() torch.nn.utils.clip_grad_norm_(model.parameters(), GRAD_CLIP) optimizer.step()
(2)testModel和evaluate中需要使用
with torch.no_grad():
(3) 学习率调小一点
来源:oschina
链接:https://my.oschina.net/u/4228078/blog/4456343