Pytorch Optimizer類使用小技巧總結

一、固定部分網路層引數

1. 將需要固定，不參與訓練層引數的requires_grad屬性設為False：

# 在nn.Modele子類內固定features層引數
for p in self.features.parameters():
    p.requires_grad=False

2. 將參與訓練的層引數傳入Optimizer：

param_to_optim = []
for param in self.model.parameters():
    if param.requires_grad == False:
        continue
    param_to_optim.append(param)

optimizer = torch.optim.SGD(param_to_optim, lr=0.001, momentum=0.9, weight_decay=1e-4)

或者：

optimizer = torch.optim.SGD(filter(lambda p: p.requires_grad, model.parameters()), lr=0.001, momentum=0.9, weight_decay=1e-4)

二、自定義學習率衰減

def adjust_learning_rate(args, optimizer, epoch, gamma=0.1):
    # 每訓練args.step_size個epochs，學習率衰減到gamma倍
    lr = args.lr * (gamma ** (epoch // args.step_size))
    for param_group in optimizer.param_groups:
        param_group['lr'] = lr

三、一個optimizer內多組引數或多個optimizer

# 一個optimizer內多組引數，可以為不同組引數設定不同的學習率
optimizer = optim.SGD([
        {'params': net.conv_block1.parameters(), 'lr': 0.002},
        {'params': net.classifier1.parameters(), 'lr': 0.002},
        {'params': net.conv_block2.parameters(), 'lr': 0.002},
        {'params': net.classifier2.parameters(), 'lr': 0.002},
        {'params': net.conv_block3.parameters(), 'lr': 0.002},
        {'params': net.classifier3.parameters(), 'lr': 0.002},
        {'params': net.features.parameters(), 'lr': 0.0002}
], momentum=0.9, weight_decay=5e-4)

# 定義多個optimizer，訓練網路的不同模組
raw_optimizer = torch.optim.SGD(raw_parameters, lr=LR, momentum=0.9, weight_decay=WD)
concat_optimizer = torch.optim.SGD(concat_parameters, lr=LR, momentum=0.9, weight_decay=WD)
part_optimizer = torch.optim.SGD(part_parameters, lr=LR, momentum=0.9, weight_decay=WD)
partcls_optimizer = torch.optim.SGD(partcls_parameters, lr=LR, momentum=0.9, weight_decay=WD)

待續。。。