摘要：pytorch优化器——add_param_group()介绍及示例、Yolov7优化器代码示例pytorch学习率设置——optimizer.param_groups、对不同层设置学习率、动态调整学习率PyTorch学习——关于tensor、Variable、
pytorch优化器——add_param_group()介绍及示例、Yolov7 优化器代码示例
pytorch学习率设置——optimizer.param_groups、对不同层设置学习率、动态调整学习率
PyTorch学习——关于tensor、Variable、nn.Parameter（）、叶子节点、非叶子节点、detach()函数、查看网络层参数
PyTorch model 返回函数总结——model.state_dict()，model.modules()，model.children()，model.parameters()
PyTorch模型参数初始化（weights_init）——torch.nn.init、加载预权重
文章目录
最近遇到了一个关于优化器的bug，困扰了我很多天，然后自己系统学习了以下pytorch优化器的知识，总结记录如下。
PyTorch优化器是一个用于优化神经网络模型的工具，它的作用是根据损失函数和模型参数来更新模型的参数，从而使模型的性能得到优化。PyTorch提供了多种优化器，包括SGD、Adam、Adagrad等。
PyTorch优化器的原理是通过反向传播算法计算损失函数对每个模型参数的梯度，然后根据梯度大小和学习率来更新模型参数。具体来说，优化器会根据一定的策略计算出一个梯度下降的方向，并根据这个方向对模型的参数进行调整。优化器的目标是使损失函数最小化，从而提高模型的性能。
在使用PyTorch优化器时，需要设置优化器的超参数，包括学习率、动量、权重衰减等。这些超参数的设置会影响优化器的性能和结果，因此需要根据具体的模型和数据集进行调整和优化。
总之，PyTorch优化器是神经网络模型优化的重要工具，它通过反向传播算法计算梯度，并根据一定的策略更新模型参数，从而使模型性能得到优化。
PyTorch是一种开源机器学习框架，提供了多种优化器来优化模型。以下是一些常用的优化器:
SGD：随机梯度下降优化器，是最基本的优化器之一，它计算每个样本的梯度并根据学习率更新模型参数。
Adam：自适应矩估计优化器，是一种自适应学习率优化器，它根据每个参数的梯度和梯度平方的移动平均值来计算自适应学习率。
Adagrad：自适应梯度算法优化器，是一种自适应学习率优化器，它根据每个参数的梯度平方和历史梯度的平方和来计算自适应学习率。
Adadelta：自适应学习率算法优化器，是一种自适应学习率优化器，它根据每个参数的梯度平方和历史梯度平方的平均值来计算自适应学习率。
RMSprop：均方根传播优化器，是一种自适应学习率优化器，它根据每个参数的梯度平方和历史梯度平方的移动平均值来计算自适应学习率。
这些优化器都可以在PyTorch中使用，并且可以通过设置各种参数来进行调整和优化。
add_param_group()是PyTorch中的一个方法，它允许用户向优化器添加一个新的参数组。参数组是一个字典，描述了特定模型参数集的参数、超参数和优化选项。当我们想要为神经网络中的不同层或参数集使用不同的学习率、权重衰减或动量时，它很有用。
add_param_group()方法接受一个字典作为输入，该字典应包含以下键:
params:需要优化的参数张量列表。
lr:参数组的学习率。
weight_decay:参数组的权重衰减值。
momentum:参数组的动量因子。
dampening:参数组动量修正的衰减。
nesterov:是否使用nesterov动量作为参数组。
可以多次调用此方法以向优化器添加不同的参数组。
示例：
测试：
Yolov7 调用示例：
以下函数用到了这几个函数。
hasattr() 函数用于判断对象是否包含对应的属性。
isinstance()检查对象是否是指定的类型。
append() 向列表末尾添加元素
详细介绍转：基础函数2——enumerate()、hasattr()、isinstance()
