PyTorch中Swin变压器的实现：swin-transformer-pytorch

Swin变形金刚-PyTorch 体系结构的实现。 本文介绍了一种称为Swin Transformer的新型视觉变形金刚，它可以用作计算机视觉的通用骨干。 在两个领域之间的差异，例如视觉实体规模的巨大差异以及与文字中的单词相比，图像中像素的高分辨率，带来了使Transformer从语言适应视觉方面的挑战。 为了解决这些差异，我们提出了一个分层的Transformer，其表示是通过移动窗口来计算的。 通过将自注意计算限制为不重叠的局部窗口，同时允许跨窗口连接，移位的加窗方案带来了更高的效率。 这种分层体系结构具有在各种规模上建模的灵活性，并且相对于图像大小具有线性计算复杂性。 Swin Transformer的这些品质使其可与多种视觉任务兼容，包括图像分类（ImageNet-1K的准确度为86.4 top-1）和密集的预测任务，例如目标检测（COCO测试中为58.7框式AP和51.1遮罩式