Pytorch学习系列(八)——训练神经网络

懵懂的女人 提交于 2019-12-05 09:43:38

训练

神经网络的训练主要包含以下语句:

if cuda:
    model.cuda()
model.train()#把模型的状态设置为训练状态,主要针对Dropout层
optimizer = torch.optim.SGD((model.parameters(), lr=lr, momentum=momentum))
for epoch in range(epochs):
    for batch_idx, (data, target) in enumerate(train_loader):
        if cuda:
            data, target = data.cuda(), target.cuda()
        output = model(data) #对data做前向过程,得到输出
        loss = loss(model, output, target)#计算output和target之间的损失
        loss.backward()#反向过程,计算损失关于各参数的梯度
        optimizer.step()#利用计算得到的梯度对参数进行更新   

随机种子

在训练开始时,参数的初始化是随机的,为了让每次的结果一致,我们需要设置随机种子。在main函数中加入如下语句:

torch.manual_seed(args.seed)#为CPU设置随机种子
if cuda:
    torch.cuda.manual_seed(seed)#为当前GPU设置随机种子
    torch.cuda.manual_seed_all(seed)#为所有GPU设置随机种子

PyTorch的维护者在回答网友们的问题时表示未来会用torch.manual_seed()同时设置CPU和GPU的种子,不知道现在是否实现了?

在训练过程中更新优化器的学习率

如果想要在训练过程中修改学习率,需要使用新的参数构建新的optimizer。

疑问

是否应该在每个iteration之前将模型参数的梯度清0????
经过实验发现,对于optim.SGD()优化算法,如果不添加optimizer.grad_zero(),那么每次iteration计算的梯度会累加到参数梯度上。

标签
易学教程内所有资源均来自网络或用户发布的内容,如有违反法律规定的内容欢迎反馈
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!