遥感图像中的小物体检测(内有新数据集)

干货第一时间送达

文章:Small-Object Detection in Remote Sensing Images with End-to-End Edge-Enhanced GAN and Object Detector Network
摘要:
与大物体相比,遥感图像中的小物体检测性能并不理想,尤其是在低分辨率和嘈杂的图像中。一种基于生成对抗网络(GAN)的模型,称为增强超分辨率GAN(ESRGAN),具有出色的图像增强性能,但是重建的图像通常会丢失高频边缘信息。因此,物体检测性能在恢复的噪点和低分辨率遥感影像上显示出小目标物体的退化。受边缘增强GAN(EEGAN)和ESRGAN成功的启发,本研究使用了一种新型的边缘增强超分辨率GAN(EESRGAN)来改善遥感图像的质量,并以端到端的方式使用了不同的探测器网络,将检测器损耗反向传播到EESRGAN中,以提高检测性能。研究人员提出了一种包含三个组件的体系结构:ESRGAN,EEN (边缘增强网络)和检测网络。对于ESRGAN和EEN,使用了RRDB(残差密集块),对于检测器网络,我们使用了更快的基于区域的FRCNN(两阶段检测器)和SSD(一级检测器)。在相关数据集上进行的大量实验表明,该方法具有出色的性能。
研究背景及问题:
遥感图像目标检测在环境监管、监视、军事、国家安全、交通、林业、油气活动监测等领域具有广泛的应用前景,然而,目前的目标检测技术对于包含噪声和低分辨率的遥感图像而言,尤其是对于图像中的小目标,其检测效果并不理想,即使在高分辨率图像上,对小目标的检测性能也远低于对大目标的检测性能。其次,大面积高分辨率影像的成本较大,许多组织正在使用高分辨率的卫星图像来实现其目的,例如当出于监管或交通目的连续监视大区域时,频繁购买高分辨率图像的成本很高,这对于一个经常更新的大区域来说是非常昂贵的。因此,需要一种解决方案来提高低分辨率图像中较小目标的检测精度。
研究贡献:
研究人员提出的体系结构由两部分组成:EESRGAN网络和检测器网络。该方法受到EEGAN和ESRGAN网络的启发,研究人员采用了一个生成子网络、一个鉴别子网络和一个边缘增强子网络作为SR(超分辨率)网络。对于生成器和边缘增强网络,研究人员使用RRDB。这些块包含多层的、连接密集的残差网络,具有良好的图像增强性能。研究中使用相对论鉴别器而不是普通鉴别器。除了GAN损失和鉴别器的损失外,还将Charbonnier损失用于边缘增强网络。最后,使用了不同的检测器从SR图像中检测出小的物体。当将检测损失反向传播到SR网络中时,检测器的作用就像鉴别器,因此提高了SR图像的质量。
数据集:研究人员根据卫星图像(Bing地图)创建了OGST(油气储罐)数据集,该数据集的GSD为30 cm和1.2 m。数据集包含来自加拿大阿尔伯塔省的带标签的油气储罐,研究人员在SR图像上检测到了这些储罐。储罐的检测和计数对于阿尔伯塔省能源监管机构至关重要,以确保安全,高效,有序和环保负责任地开发能源。除了OGST数据集外,研究人员还将方法应用于COWC数据集(Cars Overhead with Context),以比较不同用例的检测性能。对于两个数据集,该方法均优于独立的最新研究结果。
研究过程:
本文旨在提高遥感图像上小目标的检测性能,作者提出了一种端到端网络结构,其由两个模块组成:基于GAN的SR网络和检测网络,整个网络以端到端的方式进行训练。其中,基于GAN的SR网络有三个组成部分:生成器、鉴别器和EEN。该方法利用端到端训练,将检测损失的梯度从检测板反向传播到生成器中,因此,检测器也像鉴别器一样工作,促使发生器产生与地面真实相似的真实图像。整个网络结构可以分为两部分:由EEN构成的生成器,由DRa和检测器网络构成的鉴别器。
生成器G生成中间超分辨率(ISR)图像,然后在应用EEN网络之后生成最终SR图像。鉴别器区分HR图像和ISR。DRa的倒置梯度反向传播到生成器中,以创建SR图像,从而实现精确的对象检测。边缘信息是从ISR中提取的,而EEN网络会增强这些边缘。然后,将增强的边缘再次添加到ISR减去拉普拉斯算子提取的原始边缘,将得到具有增强边缘的输出SR图像。最后,研究人员使用探测器网络从SR图像中探测物体。
研究中对EEN使用两个不同的损失函数:一个比较SR和地面真实图像之间的差异,另一个比较从ISR和地面真实中提取的边缘之间的差异。研究人员还使用VGG19网络进行特征提取,以用于感知损失。因此,可以生成具有更精确边缘信息的更逼真的图像。
生成器
边缘增强网络
研究结果:
本研究首先进行模型单独训练,通过训练SR网络直到收敛,然后基于SR图像训练检测器网络。再进行端到端训练,也采用了单独的训练作为训练前的初始化权重步骤,然后联合训练SR和目标检测网络,将来自目标检测器的梯度值传递到生成器网络中。在训练过程中,学习率被设置为0.0001,每50 K迭代减半,批次大小设置为5,使用Adam[1]作为优化器,β1 = 0.9,β2 = 0.999,并更新整个架构的权值直到收敛,然后为生成器创建23个残差密集块,为EEN网络创建5个RRDB块。在COWC  数据集的训练过程中,端到端模型训练历时96小时,共200个批次,在测试过程中,使用快速基于区域卷积神经网络的平均推理耗时大约是0.25秒,SSD (Single-Shot MultiBox Detector) 是0.14秒。通过该模型进行小目标检测过程如下图所示。
总结:
本文提出了一种以低分辨率 (Low-Resolution, LR) 卫星图像为输入,以目标检测结果为输出的端到端检测模型。该模型包含SR网络和检测器网络,使用SR系统和检测器的不同组合来比较使用两个不同数据集进行检测的平均精确度 (Average Precision, AP), 实验结果表明,本文所提出的基于快速R-CNN模型的SR网络对卫星图像上的小目标识别具有较好的检测效果。然而,本文还需要在OGST (Oil and Gas Storage Tank) 数据集中添加更多样化的训练数据,以使分类模型在检测油气储罐方面具有更好的鲁棒性。同时还需要探索不同的数据集和技术,以创造更真实的LR图像。总之,本文提出的方法结合了不同的策略,为LR图像上的小目标检测任务提供了更好的解决方案。
本文仅做学术分享,如有侵权,请联系删文。
(0)

相关推荐

  • 利用合成图像对热图像进行鲁棒行人检测

    重磅干货,第一时间送达 小黑导读 论文是学术研究的精华和未来发展的明灯.小黑决心每天为大家带来经典或者最新论文的解读和分享,旨在帮助各位读者快速了解论文内容.个人能力有限,理解难免出现偏差,建议对文章 ...

  • 陈根:深度合成,为什么变成深度伪造?

    文/陈根 技术盛行的时代里,人工智能让社会生活的一切都显得表观和直接,却让伪造走向深度和长远. 作为一种基于人工智能的人体图像合成技术,深度伪造的起初只是程序员用于自制搞笑的"换头" ...

  • GANs是如何创造出高分辨率的图像的

    本文主要介绍DCGAN适应渐进式增长创建高分辨率图像的思路 深度卷积生成对抗网络是2020年最精致的神经网络体系结构.生成模型可以追溯到60年代,但是Ian Goodfellow在2014年创造的GA ...

  • 解决物体检测中的小目标问题

    重磅干货,第一时间送达 为了提高模型在小物体上的性能,我们建议使用以下技术: 提高图像捕获分辨率 提高模型的输入分辨率 平铺图像 通过扩充生成更多数据 自动学习模型锚 过滤掉多余的类 为什么小目标问题 ...

  • CVPR 2018 | 炫酷的卡通画目标检测

    作者:Panzer 论文地址:https://arxiv.org/abs/1803.11365 源码地址:https://github.com/naoto0804/cross-domain-detec ...

  • PS-GAN:如何合成高质量行人图像提升行人检测性能?

    论文地址:https://arxiv.org/abs/1804.02047 摘要:本文是利用合成图像提升行人检测性能的一次有益尝试,提出一种合成行人图像的方法(PS-GAN),该方法能够合成高质量的行 ...

  • 物体检测中的小物体问题

    点击上方"小白学视觉",选择加"星标"或"置顶" 重磅干货,第一时间送达 推荐阅读 42个pycharm使用技巧,瞬间从黑铁变王者 Goog ...

  • 支持遥感图像了,Jittor开源物体检测算法库JDet

    8月4日,清华大学计图(Jittor)团队发布了遥感图像物体检测算法库JDet,支持S2ANet,Gliding,RetinaNet,Faster R-CNN等主流的遥感图像物体检测模型.希望借助Ji ...

  • 在物体检测中搞定小目标

    作者:Jacob Solawetz 编译:ronghuaiyang 导读 在计算机视觉中,检测小目标是最有挑战的问题之一.本文给出了一些有效的策略. 从无人机上看到的小目标 为了提高你的模型在小目标上 ...

  • 计算机视觉物体检测中面对的挑战

    导读 给出了目前目标检测中的一些问题和挑战. 几年前,在图像中寻找并分类单个物体是一项极其困难的任务.今天,在计算机视觉的帮助下,数字设备可以简单快速地识别图像的内容,这为不同领域的视觉数据理解和分析 ...

  • 纳米抗体在小分子检测中的优势

    与传统的单克隆抗体,多克隆抗体相比,纳米抗体主要有以下优势: 1.纳米抗体更稳定.纳米抗体因其独特的结构赋予了自身的热稳定,因此可大大延长试剂的货架期. 2. 能够容忍高有机溶剂.对于脂溶性的小分子来 ...

  • 自动驾驶中的3D物体状态检测

    点击上方"小白学视觉",选择加"星标"或"置顶" 重磅干货,第一时间送达 摘要 3D物体检测是自动驾驶的一项重要技术,KITTI提供了一种用 ...

  • 图像中的裂纹检测

    点击上方"小白学视觉",选择加"星标"或"置顶" 重磅干货,第一时间送达 推荐阅读 42个pycharm使用技巧,瞬间从黑铁变王者 Goog ...

  • X射线图像中的目标检测

    重磅干货,第一时间送达 1 动机和背景 每天有数百万人乘坐地铁.民航飞机等公共交通工具,因此行李的安全检测将保护公共场所免受恐怖主义等影响,在安全防范中扮演着重要角色.但随着城市人口的增长,使用公共交 ...