Swin-transformer

Swin Transformer

A Hierarchical Vision Transformer using Shifted Windows


       swin-transformer是2021年微软亚洲研究院的相关学者为了尝试构造一种能够同时应用于计算机视觉与自然语言处理领域的通用性基础框架而做出的一种改良性研究并取得了非凡的成就。在swin-transformer之前2020年Google研究院就有相关的研究将自然语言处理领域广泛应用的transformer框架进行一定程度的改写，使其能够应用于计算机视觉领域。不过问题依旧存在。改写后的算法并不能完全胜任所有的计算机视觉任务。在本文中作者分析了其中的困难并提出移动窗口以及分层注意等机制使得改进后的transformer在计算机视觉领域内的各个任务都获得了巨大的成功。

计算机视觉与自然语言处理任务的不同（困难）

  • 首先第一个不同就在于输入的规模，与自然语言处理中每个输入token都是一个单词不同在计算机视觉领域（图像分类，目标检测以及实例分割。。）中由于照片拍摄角度以及距离等等因素的影响，每张照片当中包含的实例大小所占像素的多少都是不同的也因此我们需要将照片按各个规格进行划分并分别进行attention计算以此获得其在各个大小的相关性信息。这对于transformer框架的应用是一个不小的挑战。
  • 第二，与自然语言处理不同，在计算机视觉领域尤其是目标检测、实力分割或者多目标检测等任务上我们的算法常常要处理高分辨率图像，但是在传统的transform框架中模型计算量的大小往往是图像分辨率大小的平方级水平，这样的计算量无论是在模型训练还是在实际预测中进行应用都是无法接受的。

解决方案

  • 面对第一个问题，传统主流的CNN网络往往通过在模型中采用多种不同大小的卷积核实现对图像不同层次的感知。因此本文中的作者同样借鉴了这样的思路，在模型中设置了多个swin-transformer模块并为他们分别设置了多层不同大小的patch作为输入进而达到对不同图像中不同大小的物体进行识别的目的。
  • 为了解决第二个问题，减小模型在训练以及预测过程中的计算量，本文的作者舍弃了在传统transformer中所使用的全局注意而改用局部注意力进行计算。因此被处理图像在刚刚进入模型并分割为patch之后各个petch又进一步分组与相邻的patch组成了各自的窗口分区，之后的attention计算就发生在各个窗口分区内部。这样的做法使得自注意计算操作的复杂度由之前的平方级转化成为了线性级大大降低了注意力计算的复杂度。
  • 局部注意力机制完美地解决了计算复杂度的问题但是由于注意力计算仅仅作用于每个窗口分区内部而不能跨越窗口分区进行计算，我们所能获取的相关性信息也仅仅局限于每个窗口内部而无法跨域窗口进行信息的获取，为了进一步解决这一问题作者提出了变换窗口的方案。我们将在下文详细介绍这一方案。

上图是一个简单的swin-tranformer模型在这一模型中包含不同大小的共四层swin-tranformer框架，他们将帮助我们获取图像中不同大小的各种物体实例信息，在这些层次中所有的窗口分区都包含有相同数量的patch不同的在于patch的大小从上图可以看出这四层框架从低到高每次深入patch的面积都会变为之前的4倍（n^2 -> (2*n)^2）。最终经过四层的扩大最终的patch所占面积的大小将变为最开始的64倍从而实现模型对各个大小层面的特征感知。

图三(b)中的W-MSA和SW-MSA分别代表了窗口注意力以及变换窗口注意力的计算，他们将在上图2的红色窗口内进行计算，layer l 即为窗口注意力计算中窗口的划分图，layer l+1则表示了转换后的窗口划分。实现了原来划分中各个窗口之间的注意力计算。

评论

发表评论

此博客中的热门博文

An overview of gradient descent optimization algorithms.

图片
  Gradient descent variants     在平时的应用过程中共有三种主流的梯度下降算法：batch gradient decent、stochastic gradient decent、mini-batch gradient decent. 其中第一种和第三种首先分别计算每一个样本的损失函数梯度之后对它们求平均作为更新依据。 Challenges Choosing a proper learning rate can be difficult.  Additionally, the same learning rate applies to all parameter updates. If our data is sparse and our features have very different frequencies, we might not want to update all of them to the same extent, but perform a larger update for rarely occurring features. Another key challenge of minimizing highly non-convex error functions common for neural networks is avoiding getting trapped in their numerous suboptimal local minima. Dauphin et al.  [3]  argue that the difficulty arises in fact not from local minima but from saddle points, i.e. points where one dimension slopes up and another slopes down. These saddle points are usually surrounded by a plateau of the same error, which makes it notoriously hard for SGD to escape, as ...
阅读全文

Visual Mechanisms Inspired Efficient Transformers for Image and Video Quality Assessment

图片
Image and video quality assessment based on swin-transformer     这是一篇2022年发表于CVPR的一篇文章，文中作者受到swin-transformer中多层注意力机制的启发，构造了一种能在多个维度层面对图像质量进行评价的图像质量评价方法。并将这一方法应用于视频片段中帧图像的质量评定。最终不论是文中提出的图像质量评定方法还是视频质量评价方法都获得了巨大的成效成为全新的标杆性方法。     在图像质量评价方面，由于使用了swin-transformer作为基础框架，作者在进行图像预处理时 对该领域所要求的高分辨率图像与swin-transformer所要求的固定分辨率图像输入中做了折中，摒弃了传统图像分类、目标检测中所做的裁剪预处理转而采用池化层对高分辨率图像的全局信息进行提取并以提取出的信息作为输入放入swin-transformer框架中进行处理。在往常的计算机视觉任务中深度学习框架往往更偏向于提取空间域或时域中的相关信息，但作者提出在图像质量评价任务中频域信息（图像中亮度/对比度的变化快慢）同样值得关注。虽然图像的频域信息在深度学习框架中很难准确地进行表示但是在每层swin-transformer的输出中各个chanel之间的相对信息可以从某种意义上展现出该图片的频域信息因此作者提出了channel attention对原有swin-transformer框架进行了改进提出了一种适用于图像质量评价的swin-transformer(multi-stage channel attention model using Swin Transformer as backbone for IQA)其框架如上图一所示。此外作者认为本文提出的这种channel attention在swin-transformer的各个层之间的注意力表现应当是近乎相同的，同时也为了减少模型的运算数据量，作者决定采用权重共享的方式为原有的swin-transformer添加channel attention机制。由于在swin-transformer各个层的输出中他们的channel数量并不相同，作者引入包含固定数量（K）的滤波器以及1×1卷积核的bottleneck卷积层对各个层的输出进行变...
阅读全文

SROCC, KROCC, PLCC, RMSE

图片
 SROCC, KROCC, PLCC, RMSE     在机器学习以及深度学习方法的学习过程中有两个指标经常被我混淆，模型的准确性以及模型的误差，其实从根本上来说这两个指标都在不同程度上描述了当前模型的优越程度，但从实际意义上来说模型误差由于参数取值，计算方式等原因并不能直接用于模型之间好坏的对比，而更偏向使用于模型的训练。与之相反，模型的准确性是人们根据特定的规则使用模型的输出计算出的一种分值，它不能直接用于模型的训练但由于其规则统一，计算方法固定。因此更加适用于模型间好坏程度的比较。本文今天所涉及的四种方法：SROCC、KROCC、PLCC以及RMSE就是应用于图像质量评价领域对相关模型进行打分的四种不同的标准。 SROCC（Spearman rank-order correlation coefficient） 当SROCC取1表示算法性能很好，-1表示很差。值越接近1，IQA算法性能越好。 KROCC（Kendall rank-order correlation coefficient） KROCC的数值越大, 说明两个数据之间的相关性越好，IQA算法性能越好；值越小说明相关性越差，IQA算法性能一般。 PLCC（Pearson’s linear correlation coefficient） PLCC 描述两组数据之间的线性相关性，其取值范围为 -1~1。当 PLCC 的值为零时，表示两组数据完全不相关（图像的客观质量分数和主观质量分数相差很大）；当 PLCC 值为 1 或 -1 时，表明两组数据完全相关（图像的客观质量分数和主观质量分数一样）。PLCC 描述算法的客观评价分与人眼主观打分之间的相关性，衡量了IQA算法预测的准确性。 参考一   参考二 RMSE（root mean square error） 均方根误差越接近于 0，IQA算法性能越好。
阅读全文