新闻动态

新闻动态

联系我们


地址:
电话:
传真:
手机:
邮箱:
QQ:

2019 语义分割指南 近来优秀的语义分割思想与解决方案

来源:作者: 日期:2019-08-22 17:50


我们可以认为语义分割是像素级别的图像分类。例如,在一幅有很多辆车的图像中,分割模型将会把所有的物体标记为车辆。但是,另一种被称为实例分割的模型能够将出现在图像中的独立物体标记为独立的实例。这种分割在被用在统计物体数量的应用中是很有用的。



接下来,我们将会回顾一些构建语义分割模型的最先进的方法的研究论文,它们分别是:



Fully Convolutional Networks for Semantic Segmentation



The One Hundred Layers Tiramisu: Fully Convolutional DenseNets for Semantic Segmentation



DeepLab: Semantic Image Segmentation with Deep Convolutional Nets, Atrous Convolution, and Fully Connected CRFs



Encoder-Decoder with Atrous Separable Convolution for Semantic Image Segmentation



Improving Semantic Segmentation via Video Propagation and Label Relaxation



1. Weakly- and Semi-Supervised Learning of a Deep Convolutional Network for Semantic Image Segmentation



在 PASCAL VOC 的分割基准测试中,这个模型高于 70% 的交并比


2019 语义分割指南 近来优秀的语义分割思想与解决方案




为边界框或图像级别的训练引入 EM 算法,这可以用在弱监督和半监督环境中。



证明了他们的方法通过合并了少量的像素级别标注和大量的边界框标注实现了更好的性能。


2019 语义分割指南 近来优秀的语义分割思想与解决方案




这篇论文提出的模型在 PASCAL VOC 2012 数据集上实现了 67.2% 的平均 IoU。全连接网络以任意大小的图像为输入,然后生成与之对应的空间维度。在这个模型中,ILSVRC 中的分类器被丢在了全连接网络中,并且使用逐像素的损失和上采样模块做了针对稠密预测的增强。针对分割的训练是通过微调来实现的,这个过程通过在整个网络上的反向传播完成。


2019 语义分割指南 近来优秀的语义分割思想与解决方案




在生物医学图像处理中,得到图像中的每一个细胞的类别标签是非常关键的。生物医学中最大的挑战就是用于训练的图像是不容易获取的,数据量也不会很大。U-Net 是非常著名的解决方案,它在全连接卷积层上构建模型,对其做了修改使得它能够在少量的训练图像数据上运行,得到了更加精确的分割。


2019 语义分割指南 近来优秀的语义分割思想与解决方案




收缩路径由 2 个 3X3 的卷积组成,每个卷积后面跟的都是 ReLU 激活函数和一个进行下采样的 2X2 最大池化运算。扩张路径阶段包括一个特征通道的上采样。后面跟的是 2X2 的转置卷积,它能够将特征通道数目减半,同时加大特征图。最后一层是 1X1 的卷积,用这种卷积来组成的特征向量映射到需要的类别数量上。



2019 语义分割指南 近来优秀的语义分割思想与解决方案

2019 语义分割指南 近来优秀的语义分割思想与解决方案

4. The One Hundred Layers Tiramisu: Fully Convolutional DenseNets for Semantic Segmentation



模型架构是基于包含下采样和上采样路径的密集块构建的。下采样路径包含 2 个 Transitions Down ,而上采样包含 2 个 Transitions Up 。圆圈和箭头代表网络中的连接模式。


2019 语义分割指南 近来优秀的语义分割思想与解决方案




针对语义分割用途,将 DenseNet 的结构扩展到了全卷积网络。



证明网络能够在标准的基准测试中产生最好的结果。



2019 语义分割指南 近来优秀的语义分割思想与解决方案

2019 语义分割指南 近来优秀的语义分割思想与解决方案

5. Multi-Scale Context Aggregation by Dilated Convolutions



2019 语义分割指南 近来优秀的语义分割思想与解决方案

2019 语义分割指南 近来优秀的语义分割思想与解决方案

这个模块在 Pascal VOC 2012 数据集上做了测试。结果证明,向现存的语义分割结构中加入上下文模块能够提升准确率。


2019 语义分割指南 近来优秀的语义分割思想与解决方案




2019 语义分割指南 近来优秀的语义分割思想与解决方案

2019 语义分割指南 近来优秀的语义分割思想与解决方案

6. DeepLab: Semantic Image Segmentation with Deep Convolutional Nets, Atrous Convolution, and Fully Connected CRFs



为密集预测任务使用具有上采样的卷积



通过使用 DCNNs 提升了目标边界的定位


2019 语义分割指南 近来优秀的语义分割思想与解决方案




这篇论文解决了语义分割的主要挑战,包括:



检测多尺度目标



2019 语义分割指南 近来优秀的语义分割思想与解决方案

2019 语义分割指南 近来优秀的语义分割思想与解决方案

带洞卷积有两个用途,要么通过插入零值对滤波器进行上采样,要么对输入特征图进行稀疏采样。第二个方法需要通过等于带洞卷积率 r 的因子来对输入特征图进行子采样,然后对它进行去交错,使其变成 r^2 的低分辨率图,每一个 r×r 区域都有一个可能迁移。在此之后,一个标准的卷积被应用在中间的特征图上,并将其与原始图像分辨率进行交错。


2019 语义分割指南 近来优秀的语义分割思想与解决方案




这篇论文解决了使用 DCNN 进行语义分割所面临的两个挑战:当使用连续的池化操作时会出现特征分辨率的降低,以及多尺度目标的存在。


2019 语义分割指南 近来优秀的语义分割思想与解决方案




在没有密集条件随机场的情况下,论文的 DeepLabv3 版本在 PASCAL VOC 2012 测试集上实现了 85.7% 的性能。


2019 语义分割指南 近来优秀的语义分割思想与解决方案




这篇论文的方法「DeepLabv3+」在 PASCAL VOC 2012 数据集和 Cityscapes 数据集上分别实现了 89.0% 和 82.1% 的性能,而且没有做任何后处理。这个模型在 DeepLabv3 的基础上增加一个简单的解码模块,从而改善了分割结果。


2019 语义分割指南 近来优秀的语义分割思想与解决方案




2019 语义分割指南 近来优秀的语义分割思想与解决方案

2019 语义分割指南 近来优秀的语义分割思想与解决方案

9. FastFCN: Rethinking Dilated Convolution in the Backbone for Semantic Segmentation



2019 语义分割指南 近来优秀的语义分割思想与解决方案

2019 语义分割指南 近来优秀的语义分割思想与解决方案

此方法在 Pascal Context 数据集上实现了 53.13% 的 mIoU,并且具有三倍的运行速度。



联合采样使用低分辨率的目标图像和高分辨率的指导图像。然后通过迁移指导图像的结构和细节生成高分辨率的目标图像。


2019 语义分割指南 近来优秀的语义分割思想与解决方案

2019 语义分割指南 近来优秀的语义分割思想与解决方案

2019 语义分割指南 近来优秀的语义分割思想与解决方案

10. Improving Semantic Segmentation via Video Propagation and Label Relaxation



2019 语义分割指南 近来优秀的语义分割思想与解决方案

2019 语义分割指南 近来优秀的语义分割思想与解决方案

这篇论文证明了用合成数据训练语义分割网络能够带来预测准确率的提升。论文提出的方法在 Cityscape 上达到了 8.5% 的 mIoU,在 CamVid 上达到了 82.9% 的 mIoU。


2019 语义分割指南 近来优秀的语义分割思想与解决方案




Label Propagation :通过将原始的未来帧与传播来的标签配对来创建新的训练样本。



这篇论文有 3 个主要贡献:利用视频预测模型将标签传播到当前的邻帧,引入联合图像标签传播来处理偏移问题,通过最大化边界上分类的联合概率来松弛 one-hot 标签训练。



这篇论文是语义分割领域最新的成果,作者提出了一个双流 CNN 结构。在这个结构中,目标的形状信息通过一个独立的分支来处理,该形状流仅仅处理边界相关的信息。这是由模型的门卷控积层和局部监督来强制实现的。


2019 语义分割指南 近来优秀的语义分割思想与解决方案




以上就是近来语义分割的主要进展,随着模型和数据的进一步提升,语义分割的速度越来越快、准确率越来越高,也许以后它能应用到各种现实生活场景中。


注:文章内的所有配图皆为网络转载图片,侵权即删!

首页
电话
短信
联系