ChatGPT解决这个技术问题 Extra ChatGPT

PyTorch:如何在任何给定时刻更改优化器的学习率(无 LR 计划)

PyTorch 是否可以在训练过程中动态更改优化器的学习率(我不想事先定义学习率计划)?

所以假设我有一个优化器:

optim = torch.optim.SGD(model.parameters(), lr=0.01)

现在由于我在训练期间进行的一些测试,我意识到我的学习率太高了,所以我想把它改成 0.001。似乎没有方法 optim.set_lr(0.001) 但有什么方法可以做到这一点?


p
patapouf_ai

所以学习率存储在optim.param_groups[i]['lr']中。 optim.param_groups 是可以具有不同学习率的不同权重组的列表。因此,只需执行以下操作:

for g in optim.param_groups:
    g['lr'] = 0.001

会成功的。

或者,

正如评论中提到的,如果您的学习率仅取决于纪元数,您可以使用 learning rate scheduler

例如(来自文档的修改示例):

torch.optim.lr_scheduler import LambdaLR
optimizer = torch.optim.SGD(model.parameters(), lr=0.1, momentum=0.9)
# Assuming optimizer has two groups.
lambda_group1 = lambda epoch: epoch // 30
lambda_group2 = lambda epoch: 0.95 ** epoch
scheduler = LambdaLR(optimizer, lr_lambda=[lambda1, lambda2])
for epoch in range(100):
    train(...)
    validate(...)
    scheduler.step()

另外,还有一个prebuilt learning rate scheduler to reduce on plateaus.


@MehmetBurakSayıcı 提出一个新问题。
2020 年使用 this automatic updaters
我尝试使用它,但我没有更改 lr。必须做出这样的改变: for i in range(len(optimizer.param_groups)): optimizer.param_groups[i]['lr'] = new_lr
d
desertnaut

除了 patapouf_ai's answer 中的循环,您可以通过以下方式直接执行此操作:

optim.param_groups[0]['lr'] = 0.001

这仅在您有一个参数组时才有效。 (这可能是大多数时候。)

关注公众号,不定期副业成功案例分享
关注公众号

不定期副业成功案例分享

领先一步获取最新的外包任务吗?

立即订阅