Jupyter笔记本上的pytorch-lr-explorer用于探索在训练深度神经网络时应用的复杂学习率策略

pytorch-lr-explorer Jupyter笔记本探索了用于在深度神经网络中提高学习率的各种复杂技术，其中包括： 一种用于估计最佳学习率设置的系统方法，其中在短期训练中不断提高学习率，然后针对训练损失或准确性进行绘制。 莱斯利·N·史密斯（Leslie N. Smith）在中介绍了想法。 基于时间的学习速率调度，尤其是带有热重启的余弦退火，其中学习速率以余弦模式在高边界和低边界之间循环变化。 这种特殊的技术来源于伊利亚Loshchilov和弗兰克·胡特。 快照集合，这是对上述技术的扩展，它涉及在每个循环之后对模型进行快照，并使用最后的M个快照作为整体。 这种技术是基于由膏肓，艺轩李，杰夫Pleiss，刘壮，约翰E. Hopcroft和基利安Q.温伯格。 这些策略证明相对于使用具有创建了一个简单RESNET式卷积神经网络的图像分类问题（CIFAR10） 。