训练
神经网络的训练主要包含以下语句:
if cuda:
model.cuda()
model.train()#把模型的状态设置为训练状态,主要针对Dropout层
optimizer = torch.optim.SGD((model.parameters(), lr=lr, momentum=momentum))
for epoch in range(epochs):
for batch_idx, (data, target) in enumerate(train_loader):
if cuda:
data, target = data.cuda(), target.cuda()
output = model(data) #对data做前向过程,得到输出
loss = loss(model, output, target)#计算output和target之间的损失
loss.backward()#反向过程,计算损失关于各参数的梯度
optimizer.step()#利用计算得到的梯度对参数进行更新
随机种子
在训练开始时,参数的初始化是随机的,为了让每次的结果一致,我们需要设置随机种子。在main函数中加入如下语句:
torch.manual_seed(args.seed)#为CPU设置随机种子
if cuda:
torch.cuda.manual_seed(seed)#为当前GPU设置随机种子
torch.cuda.manual_seed_all(seed)#为所有GPU设置随机种子
PyTorch的维护者在回答网友们的问题时表示未来会用torch.manual_seed()同时设置CPU和GPU的种子,不知道现在是否实现了?
在训练过程中更新优化器的学习率
如果想要在训练过程中修改学习率,需要使用新的参数构建新的optimizer。
疑问
是否应该在每个iteration之前将模型参数的梯度清0????
经过实验发现,对于optim.SGD()优化算法,如果不添加optimizer.grad_zero(),那么每次iteration计算的梯度会累加到参数梯度上。
来源:CSDN
作者:Vic时代
链接:https://blog.csdn.net/VictoriaW/article/details/73920534