-
在PyTorch中实现和展示背景幕功能,以及GP数据集生成器的代码演示
资源介绍
背景:随机反向传播
西亚瓦什·高卡(Siavash Golkar)
凯尔·克兰默(Kyle Cranmer)
概括
是一种灵活且易于实现的工具,用于将随机性引入渐变,可以直观地描述为沿Backpropagation管道的Dropout。 在随机梯度下降不适合或定义不明确的问题中,背景可以导致优化性能的显着提高。 这些通常分为两大类:1)不可分解损失的问题; 2)每个样本可以直观地视为由许多较小的子样本组成的问题。
执行
与辍学类似,背景是通过在网络中插入一个或多个屏蔽层来实现的。 背景遮罩层在前向通过过程中是透明的,但会沿后向通过阻止渐变的随机部分。 在损失函数不可分解的问题中,背景仅通过相对于样本的随机选择子集传播梯度来起作用。 这是此过程的一个动画片,其中x是样本,c是从各个样本派生的一些潜在变量,L是不可分解的损失。 我们用黑色实线表示前进,用红色虚线表示渐变计算。 在该示例中