Batch Normalization

Batch Normalization 

Training:

(m是每一个minibatch中相同通道位的元素个数)
        根据论文 batch normalization 主要解决了训练过程中internal covariate shift（模型内部参数协矩阵变化问题）由于深度神经网络往往由很多层网络连接而成，一旦上层网络中的参数分布发生细微变化经过多层计算过后这一细微变化很有可能会被放大进而导致内部参数之间协方差矩阵的变化。bach normalization的加入在每个非线性层前加入了新的一层首先将参数映射至一个期望为0方差为1的分布区间再利用线性层恢复其表达能力使得每个激活层的输入都大致维持在一个相对稳定的分布区间内。
        模型训练完成之后，batch-norm层在预测时用的方差和期望将由每个mini-batch替换为整个训练集上该参数的期望与方差。

（2）Momentum：移动平均法(Moving Average)

       稍微改变一下训练过程中计算均值和方差的办法，设 [公式]是当前步骤求出的均值， [公式] 是之前的训练步骤累积起来求得的均值（也称running mean），则：

[公式]
       其中，p是momentum的超参，表示模型在多大程度上依赖于过去的均值和当前的均值。 [公式] 则是新一轮的ruuning mean，也就是当前步骤里最终使用的mean。同理，对于方差，我们也有：
[公式]

采用这种方法的好处是：

  •        节省了存储空间，不需要保存所有的均值和方差结果，只需要保存running mean和running variance即可
  •        方便在训练模型的阶段追踪模型的表现。一般来讲，在模型训练的中途，我们会塞入validation dataset，对模型训练的效果进行追踪。采用移动平均法，不需要等模型训练过程结束再去做无偏估计，我们直接用running mean和running variance就可以在validation上评估模型。

Batch-norm in nets:

For Linear layers:

    在线性层中使用batch-norm其实和上面第一节中的图片一致，就是对激活层的各个输入参数分别进行独立的batch-norm。

For convolutional layers:

    为了适应卷积运算与线性运算之间的不同，作者对应用于卷积层后的batch-norm做了一定的修改，我们计算的方差和期望不再基于某一特定的特征（feature）而是基于一个特定的feature map --- 特征层（一张RGB图像有3层，灰度图像只有一层）对每一个feature map上的所有参数做相同的bach-norm变换。





评论

发表评论

此博客中的热门博文

Swin-transformer

图片
Swin Transformer A Hierarchical Vision Transformer using Shifted Windows         swin-transformer是2021年微软亚洲研究院的相关学者为了尝试构造一种能够同时应用于计算机视觉与自然语言处理领域的通用性基础框架而做出的一种改良性研究并取得了非凡的成就。在swin-transformer之前2020年Google研究院就有相关的研究将自然语言处理领域广泛应用的transformer框架进行一定程度的改写，使其能够应用于计算机视觉领域。不过问题依旧存在。改写后的算法并不能完全胜任所有的计算机视觉任务。在本文中作者分析了其中的困难并提出移动窗口以及分层注意等机制使得改进后的transformer在计算机视觉领域内的各个任务都获得了巨大的成功。 计算机视觉与自然语言处理任务的不同（困难） 首先第一个不同就在于输入的规模，与自然语言处理中每个输入token都是一个单词不同在计算机视觉领域（图像分类，目标检测以及实例分割。。）中由于照片拍摄角度以及距离等等因素的影响，每张照片当中包含的实例大小所占像素的多少都是不同的也因此我们需要将照片按各个规格进行划分并分别进行attention计算以此获得其在各个大小的相关性信息。这对于transformer框架的应用是一个不小的挑战。 第二，与自然语言处理不同，在计算机视觉领域尤其是目标检测、实力分割或者多目标检测等任务上我们的算法常常要处理高分辨率图像，但是在传统的transform框架中模型计算量的大小往往是图像分辨率大小的平方级水平，这样的计算量无论是在模型训练还是在实际预测中进行应用都是无法接受的。 解决方案 面对第一个问题，传统主流的CNN网络往往通过在模型中采用多种不同大小的卷积核实现对图像不同层次的感知。因此本文中的作者同样借鉴了这样的思路，在模型中设置了多个swin-transformer模块并为他们分别设置了多层不同大小的patch作为输入进而达到对不同图像中不同大小的物体进行识别的目的。 为了解决第二个问题，减小模型在训练以及预测过程中的计算量，本文的作者舍弃了在传统transformer中所使用的全局注意而改用局部注意力进行计算。因此被处理图像在刚刚进入模型并分割为patch之...
阅读全文

An overview of gradient descent optimization algorithms.

图片
  Gradient descent variants     在平时的应用过程中共有三种主流的梯度下降算法：batch gradient decent、stochastic gradient decent、mini-batch gradient decent. 其中第一种和第三种首先分别计算每一个样本的损失函数梯度之后对它们求平均作为更新依据。 Challenges Choosing a proper learning rate can be difficult.  Additionally, the same learning rate applies to all parameter updates. If our data is sparse and our features have very different frequencies, we might not want to update all of them to the same extent, but perform a larger update for rarely occurring features. Another key challenge of minimizing highly non-convex error functions common for neural networks is avoiding getting trapped in their numerous suboptimal local minima. Dauphin et al.  [3]  argue that the difficulty arises in fact not from local minima but from saddle points, i.e. points where one dimension slopes up and another slopes down. These saddle points are usually surrounded by a plateau of the same error, which makes it notoriously hard for SGD to escape, as ...
阅读全文

SROCC, KROCC, PLCC, RMSE

图片
 SROCC, KROCC, PLCC, RMSE     在机器学习以及深度学习方法的学习过程中有两个指标经常被我混淆，模型的准确性以及模型的误差，其实从根本上来说这两个指标都在不同程度上描述了当前模型的优越程度，但从实际意义上来说模型误差由于参数取值，计算方式等原因并不能直接用于模型之间好坏的对比，而更偏向使用于模型的训练。与之相反，模型的准确性是人们根据特定的规则使用模型的输出计算出的一种分值，它不能直接用于模型的训练但由于其规则统一，计算方法固定。因此更加适用于模型间好坏程度的比较。本文今天所涉及的四种方法：SROCC、KROCC、PLCC以及RMSE就是应用于图像质量评价领域对相关模型进行打分的四种不同的标准。 SROCC（Spearman rank-order correlation coefficient） 当SROCC取1表示算法性能很好，-1表示很差。值越接近1，IQA算法性能越好。 KROCC（Kendall rank-order correlation coefficient） KROCC的数值越大, 说明两个数据之间的相关性越好，IQA算法性能越好；值越小说明相关性越差，IQA算法性能一般。 PLCC（Pearson’s linear correlation coefficient） PLCC 描述两组数据之间的线性相关性，其取值范围为 -1~1。当 PLCC 的值为零时，表示两组数据完全不相关（图像的客观质量分数和主观质量分数相差很大）；当 PLCC 值为 1 或 -1 时，表明两组数据完全相关（图像的客观质量分数和主观质量分数一样）。PLCC 描述算法的客观评价分与人眼主观打分之间的相关性，衡量了IQA算法预测的准确性。 参考一   参考二 RMSE（root mean square error） 均方根误差越接近于 0，IQA算法性能越好。
阅读全文