torch.optim 简介

torch.optim 是一个实现了多种优化算法的包，大多数通用的方法都已支持，提供了丰富的接口调用，未来更多精炼的优化算法也将整合进来。

torch.optim 官网介绍

https://pytorch.org/docs/stable/optim.html

torch.optim 使用说明

torch.optim 中包含很多的Optimizer优化器，如何使用这些优化器呢？我们首先需要构建一个优化器optimizer，必须给它一个可进行迭代优化的包含了所有参数（所有的参数必须是变量s）的列表。然后，可以指定程序优化特定的选项，例如学习速率，权重衰减等，如下所示：

optimizer = optim.SGD(model.parameters(), lr=0.01, momentum=0.9)
optimizer = optim.Adam([var1, var2], lr=0.0001)