RankIQA-论文笔记
RankIQA RankIQA是2017年的一篇应用于无参考图像质量评价领域的优秀论文,它发表于当年的ICCV。文章创新性地将 Siamese网络的相关思想应用于图像质量评价模型的预训练中,并提出了一系列用于预训练IQA模型以及优化Siamese网络的实用方法。读完之后受益颇深,且引发了进一步思考。本文接下来将结合原论文并根据自身理解详细介绍RankIQA图像质量评价模型的训练全过程。 主要思想: 近些年来由于深度神经网络在图像数据处理的各个领域均取得了显著成效获得可观成果,因此越来越多的学者开始尝试将深度神经网络应用于图像质量评价,但与其他图像处理识别任务不同,对图像质量的评定带有很强的主观因素且需要评定者有很强的专业素养,因此大多数的图像质量评价数据集均由相关专业的群体包含几百的专业人士根据给定的参考图像进行打分,这是一件十分耗费人力的工作同时也导致数据集的构建成本十分高昂,因此目前图像质量评价领域的相关数据集均为小型数据集,将其直接用于特大深度神经网络模型的训练极易引发过拟合,无法真正地表达出其他图像的质量水平。因此作者受到启发,虽然标注有明确质量信息的相关数据很难获得但通过给图像添加干扰获得一系列的受损图像却可以根据添加的干扰多少对其进行排序,通过这种排序好的数据集进行预训练就可以解决目前状态下质量评价数据集缺少的问题。 首先本文中作者预训练时使用的 Siamese网络为共享权重的孪生神经网络,在实际代码中用于对比的两个失真图像实际上也是经过同一个网络进行正向传播获得输出并进行对比的,对于文中的Siamese网络而言它的两个分支完全相同且属于一个图像将获得一个对应的标量输出,这一标量就表示了模型对于输入图像质量分数的预测,在预训练阶段标注信息是图像的质量排名,而Siamese网络也将对比这一标量并对模型进行优化,而在最后的微调阶段这一标量将用于拟合图像的质量分数标注,并通过MSE损失计算相关误差。本文接下来的内容将详细介绍预训练阶段Siamese网络的训练实现。 Hinge Loss(折页损失函数,铰链损失) ...